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内 容 简 介 

无 人 驾驶 是 一 个 复杂 的 系统 ， 涉 及 的 技术 点 种 类 多 且 跨 度 大 ， 入 门 者 常常 不 知 从 何 入 手 。 
本 书 首先 宏观 地 呈现 了 无 人 驾驶 的 整体 技术 架构 ， 概 述 了 无 人 驾驶 中 涉及 的 各 个 技术 点 。 在 读 
者 对 无 人 驾驶 技术 有 了 宏观 认识 后 ， 本 书 深入 浅 出 地 讲解 了 无 人 驾驶 定位 导航 、 感 知 、 决 策 与 
控制 等 算法 ， 深 度 学 习 在 无 人 驾驶 中 的 应 用 ， 无 人 驾驶 系统 软件 和 硬件 平台 ， 无 人 驾驶 安全 及 
无 人 驾驶 云 平台 等 多 个 主要 技术 点 。 本 书 的 作者 都 是 无 人 驾驶 行业 的 从 业者 与 研究 人 员 ， 有 着 
多 年 无 人 驾驶 及 人 工 智 能 技术 的 实战 经 验 。 

本 书 从 实用 的 角度 出 发 ， 以 期 帮助 对 无 人 驾驶 技术 (特别 是 人 工 智能 在 无 人 驾驶 中 的 应 用 ) 
感 兴趣 的 从 业者 与 相关 人 士 实现 对 无 人 驾驶 行业 的 快速 入 门 ， 以 及 对 无 人 驾驶 技术 的 深度 理解 
与 应 用 实践 。 


未 经 许可 ， 不 得 以 任何 方式 复制 或 抄袭 本 书 之 部 分 或 全 部 内 容 。 
版 权 所 有 ， 侵 权 必 究 。 
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好 评 歼 来 


本 书 深入 浅 出 地 呈现 了 无 人 驾驶 这 个 复杂 的 系统 。 书 中 包括 无 人 驾驶 定位 与 感知 算法 、 
无 人 驾驶 决策 与 控制 算法 、 深 度 学 习 在 无 人 驾驶 中 的 应 用 、 无 人 驾驶 系统 、 无 人 驾驶 云 平 
台 、 无 人 驾驶 安全 等 章节 , 既 宏观 地 呈现 了 无 人 驾驶 技术 的 架构 , 又 很 好 地 深入 到 无 人 驾 
驶 涉及 的 每 个 技术 点 。 我 相当 同意 书 中 的 观点 : 无 人 驾驶 并 不 是 一 个 技术 点 , 而 是 众多 技 
术 点 的 集合 。 无 人 车 上 路 行驶 的 前 提 是 每 一 个 技术 点 都 要 做 得 很 好 , 这 就 代表 在 每 个 技术 
点 上 都 有 很 好 的 创新 机 会 。 例 如 ,在 无 人 驾驶 芯片 的 设计 上 , 使 用 低能 耗 的 ARM 架构 加 
上 不 同 的 加 速 芯 片 (GPU, FPGA, DSP, ASIC) 在 性 能 与 能 耗 上 有 很 大 优势 。 我 仔细 读 
完 本 书后 ,对 整个 无 人 驾驶 系统 架构 有 了 很 好 的 认识 , 当 我 想 更 深入 地 了 解 一 个 技术 点 时 ， 
本 书 也 提供 了 很 好 的 文献 信息 让 我 深入 学 习 。 毫 不 夸张 地 说 , 本 书 让 我 在 短 时 间 内 对 无 人 
驾驶 技术 有 了 很 好 的 了 解 。 


ARM 董事 会 成 员 、 全 球 副 总 裁 、 中 国 区 总 裁 。 吴 昂 雄 


作为 一 名 科技 行业 的 从 业者 ,我 有 幸 近 距离 观察 了 许多 所 谓 的 颠覆 性 技术 的 生命 周期 。 
我 的 感受 是 人 们 会 将 一 项 技术 的 近期 作用 无 限 夸大 ,对 这 项 技术 的 长 期 演化 往往 估计 不 足 。 
这 一 次 大 家 对 “无 人 驾驶 ”的 态度 也 一 样 ， 大 多 数 人 仅仅 把 “无 人 驾驶 ”看 成 一 项 技术 ， 
认为 只 要 搞定 算法 、 搞 定 传感器 、 搞 定 云 与 端的 传输 等 就 万 事 大 吉 , 我 们 就 进入 了 完全 自 
动 驾 驶 的 时 代 。 我 认为 这 种 想法 很 危险 , 首先 , 这 是 一 种 发 明 家 而 非 创新 家 、 投 机 者 而 非 
创业 者 的 心态 ; 其 次 , 这 些 人 没有 充分 认识 到 “无 人 驾驶 ”有 着 极 大 的 安全 属性 与 社会 属 
VE, 他 们 可 能 会 谈 到 政府 管制 的 问题 , 但 很 少 考虑 人口 结构 及 其 背后 的 消费 心理 及 消费 习 
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惯 间 题 。 这 种 拿 着 锤子 找 钉子 的 做 法 对 “无 人 驾驶 ”的 落地 很 不 利 。 


作为 从 业者 之 一 , 我 坚定 看 好 “无 人 驾驶 ”这 一 产业 的 长 期 趋势 及 其 巨大 的 经 济 与 社 
会 效益 , 但 在 短期 内 , 我 们 除了 做 好 技术 准备 外 , 更 应 该 把 眼光 放 长 远 , 虚心 地 研究 市 场 、 
研究 用 户 、 研 究 监管 者 、 研 究 利益 相关 方 , 脚踏实地 一 步 一 个 脚印 , 共同 实现 “无 人 驾驶 ” 
这 一 可 预见 的 未 来 。 本 书 是 我 读 过 的 有 关 “ 无 人 驾驶 ”最 系统 、 最 严谨 的 著作 , 值得 有 志 
于 从 事 此 行业 的 朋友 认真 阅读 。 


FAFA (RA) ARAJN, DEG Ik 


刘 少 山 带领 的 是 一 个 专业 而 高 效 的 硅谷 精英 团队 ! 感谢 他 们 的 努力 , 将 神秘 高 端的 无 
人 驾驶 技术 拉 下 神 坛 , 并 以 应 丁 解 牛 般 的 专业 功底 逐 层 剖析 。 这 本 诞生 于 工业 界 的 无 人 轰 
驶 图 书 , 将 极 大 地 缩短 开发 者 、 爱 好 者 ， 以 及 相关 人 士 迅 速 切入 , 并 深入 学 习 和 投身 于 人 
工 智能 无 人 轰 驶 这 一 热点 领域 的 进程 ， 实 属 可 贵 。 


CSDN & (FR) i Sieg 


很 高 兴 看 到 本 书 书稿 ， 我 认为 这 是 一 本 无 人 驾驶 方面 的 专业 书籍 ， 对 技术 发 展现 状 
和 工业 实现 都 进行 了 很 好 的 描述 , 并 对 未 来 做 出 了 展望 。 书 中 内 容 包 括 了 各 个 层面 面临 的 
技术 挑战 和 可 能 的 技术 解决 方案 ,特别 是 在 决策 控制 部 分 有 精彩 的 描述 。 我 相信 本 书 对 
在 校 学 生 、 研 究 生 ， 以 及 工业 界 相 关 技 术 人 员 都 有 所 帮助 ! 


HEK A, AEF PR 


当前 ,人 工 智能 引起 了 全 球 性 的 关注 , 是 一 个 可 能 改变 世界 的 创新 技术 。 无 人 驾驶 技 
术 是 人 工 智能 领域 最 重要 的 分 支 之 一 , 其 涉及 的 学 科 众多 , 是 一 个 融会 了 大 量 新 技术 的 工 
程 实践 。 本 书 试图 揭 开 无 人 芍 驶 技术 的 神秘 面纱 , 使 读者 能 够 很 快 建立 对 无 人 驾驶 技术 的 
全 面 认识 。 本 书 从 工程 师 的 角度 出 发 , 全 面 介 绍 了 无 人 轰 驶 技术 涉及 的 核心 方向 , 包括 环 
境 感 知 、 车 载 传感器 、 规 划 控 制 ,， 等 等 。 书 中 涉及 无 人 驾驶 的 多 个 技术 方向 自 成 体系 ， 针 
对 每 个 方向 中 的 核心 内 容 讨 论 了 系统 的 技术 思路 和 解决 方案 ,在 很 多 重要 的 技术 上 给 出 了 
颇具 深度 的 细节 示例 。 本 书 作者 有 深厚 的 硅谷 工程 师 背景 , 作者 描述 的 无 人 驾驶 技术 已 经 
不 是 象牙 塔 里 的 学 术 ， 而 是 贴近 社会 并 即将 走 进 大 众生 活 的 新 一 代 科 技 产品 的 实践 。 


电子 科技 大 学 教授 、 博 士 生 导 师 雷 维 礼 
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无 人 车 : 正在 开始 的 未 来 


我 们 已 经 拉 开 了 全 自动 无 人 驾驶 的 序幕 , 在 幕布 之 后 精彩 的 未 来 将 如 何 , 让 我 们 先 回 
顾 一 下 硅谷 的 发 展 历史 ， 再 以 此 展望 无 人 鸭 驶 的 未 来 。 如 图 1-1 所 示 , 现代 信息 技术 始 于 
20 世纪 60 年 代 ， 仙 童 电子 和 Intel 通过 硅 晶 体 微 处 理 器 技术 的 创新 开创 了 信息 技术 的 新 
时 代 , 这 也 是 硅谷 的 起 源 。 微 处 理 器 技术 极 大 地 提高 了 工业 化 生产 力 , 推进 了 现代 工业 的 
发 展 。20 世纪 80 年 代 ， 随 着 Xerox Alto, Apple Lisa 及 Microsoft Windows 等 软件 系统 的 
发 展 , 图 形 界面 被 广泛 应 用 , 个 人 电脑 的 概念 出 现 并 开始 普及 , 现代 信息 技术 以 此 为 基础 
普 惠 众人 。 
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1-1 现代 信息 技术 发 展 史 
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21 世纪 初 ， 在 个 人 电脑 逐步 普及 并 被 大 规模 应 用 的 背景 下 ，Google 的 出 现 通 过 互联 
网 和 搜索 引擎 的 方式 将 人 与 浩瀚 如 星海 的 信息 互联 起 来 了 , 至 此 , 现代 信息 技术 发 展 到 了 
第 三 阶段 。 始 于 2004 年 的 Facebook 通过 革新 的 社交 网 络 模式 将 现代 信息 技术 推进 到 了 第 
四 阶段 。 至 此 ,人 类 的 交往 互联 方式 从 线 下 扩展 到 了 线 上 ， 人 类 社会 在 万 维 网 上 有 了 初始 
的 迁移 并 逐步 地 成 熟 完善 。 


随 着 互联 网 人 口 规模 的 膨胀 ，Airbnb 与 Uber 等 公司 通过 共享 经 济 的 思维 把 人 类 社会 
的 经 济 模式 直接 推广 到 了 互联 网 社会 ， 利 用 互联 网 + 移动 设备 等 直接 连接 不 同 用 户 的 经 济 
行为 , 得 到 了 大 范围 的 成 功 。 信 息 技术 每 一 阶段 的 发 展 及 其 随后 驱动 的 革新 , 都 极 大 地 改 
变 了 人 类 对 信息 的 访问 需求 和 获取 方式 。 尤其 对 后 几 个 阶段 而 言 , 互联 网 是 一 个 基础 性 条 
件 ， 大 多 数 的 服务 是 通过 互联 网 传达 给 终端 用 户 的 。 


现在 , 我 们 走 到 了 信息 技术 发 展 的 第 六 阶段 , 机 器 人 开始 作为 服务 的 承载 体 出 现 , 其 
中 的 一 个 具体 事例 就 是 无 人 驾驶 的 产品 化 。 无 人 芍 驶 并 不 是 一 个 单一 的 新 技术 , 而 是 一 系 
列 技术 的 整合 , 通过 众多 技术 的 有 效 融合 , 在 无 人 驾车 的 情况 下 安全 地 送 达 乘客 。 本 瘟 会 
介绍 无 人 驾驶 的 分 级 、ADAS 中 的 关键 应 用 、 无 人 驾驶 中 涉及 的 多 项 技术 并 讨论 如 何 安 全 
高 效 地 在 无 人 萄 驶 系统 中 完成 技术 的 整合 。 





1.1 ”正在 走 来 的 无 人 驾驶 


预计 到 2021 年 ,无 人 车 将 进入 市 场 ， 从 此 开启 一 个 姘 新 的 阶段 。" 世 界 经 济 论坛 估 
计 ， 汽 车 行业 的 数字 化 变革 将 创造 670 亿美 元 的 价值 ， 带 来 3.1 万 亿美 元 的 社会 效益 , P 
其 中 包括 无 人 车 的 改进 、 乘 客 互联 及 整个 交通 行业 生态 系统 的 完善 。 


据 估 计 ， 半 自动 驾驶 和 全 自动 驾驶 汽车 在 未 来 几 十 年 的 市 场 潜 力 相当 大 。 例 如 ， 到 
2035 年 ， 仅 中 国 就 将 有 约 860 万 辆 自动 驾驶 汽车 ， 其 中 约 340 万 辆 为 全 自动 无 人 驾驶 ， 
520 万 辆 为 半自动 驾驶 。 馈 有 行业 主管 部 门人 士 认 为 ,“ 中 国 轿车 的 销售 ， 巴 士 、 出 租车 
和 相关 交通 服务 年 收入 有 望 超过 1.5 万 亿美 元 。” 波 士 顿 咨询 集团 预测 ,“ 无 人 车 的 全 球 市 
场 份额 要 达到 25%， 需 要 花 15-20 年 的 时 间 。” 由 于 无 人 车 预计 到 2021 年 才 上 市 ， 这 意 
味 着 2035—2040 年 ， 无 人 车 将 占 全 球 市 场 25% 的 份额 。 


无 人 驾驶 之 所 以 会 给 汽车 行业 带 来 如 此 大 的 变革 ,是 因为 无 人 车 带 来 的 影响 是 空前 的 。 
研究 表明 , 在 增强 高 速 公路 安全 、 缓解 交通 拥堵 、 减 少 空气 污染 等 领域 , 无 人 驾驶 会 带 来 
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1 无 人 车 : 正在 开始 的 未 来 1l 


1. 增强 高 速 公 路 安全 


高 速 公路 事故 是 全 世界 面临 的 重大 问题 。 在 美国 , 每 年 估计 有 35000 人 死 于 车 祸 , 在 
中 国 这 一 数字 约 为 260000 A. P 日 本 每 年 高 速 公路 事故 死亡 人 数 为 4000 Zt. 9 dS 
世界 卫生 组 织 统计 , 全 世界 每 年 有 124 万 人 死 于 高 速 公路 事故 。" 据 估计 ,致命 车 祸 每 年 
会 造成 2600 亿美 元 的 损失 , 而 车 祸 致 伤 会 带 来 3650 亿美 元 的 损失 。 高 速 公路 事故 每 年 导 
致 6250 亿美 元 的 损失 。 美国 兰 德 公司 研究 显示 ,“ 在 2011 年 车 祸 死亡 事故 中 39% 涉 及 
ime." 9 几乎 可 以 肯定 ， 在 这 方面 ， 无 人 车 将 带 来 大 幅 改 善 ， 避 免 车 祸 伤亡 。 在 中 国 ， 
约 有 60% 的 交通 事故 和 骑 车 人 、 行 人 或 电动 自行 车 与 小 轿车 和 卡车 相 撞 有 关 。 在 美国 
的 机 动车 事故 中 ， 有 94% 与 人 为 失误 有 关 。" 美 国 高 速 公路 安全 保险 研究 所 的 一 项 研究 
表明 ， 全 部 安装 自动 安全 装置 能 使 高 速 公路 事故 死亡 数量 减少 31%， 每 年 将 挽救 11000 
条 生命 。 上 这 类 装置 包括 前 部 碰撞 警告 体系 、 碰 撞 制 动 、 车 道 偏离 警告 和 盲点 探测 。 


2. 缓解 交通 拥堵 


交通 拥堵 几乎 是 每 个 大 都 市 都 面临 的 问题 。 以 美国 为 例 ， 每 位 司机 每 年 平均 遇 到 40 
小 时 的 交通 墙 塞 ， 年 均 成 本 为 1210 亿美 元 。 纪 在 莫斯科 、 伊 斯 坦 布尔 、 墨 西 哥 城 或 里 约 
热 内 卢 , 浪费 的 时 间 更 长 , “每 位 司机 每 年 将 在 交通 拥堵 中 度 过 超过 100 小 时 .已 在 中 国 ， 
汽车 数量 超过 100 万 辆 的 城市 有 35 个 ， 超 过 200 万 辆 的 城市 有 10 个 。 在 最 繁忙 的 市 区 ， 
HA 75% 的 道路 会 出 现 高 峰 拥 堵 。 ”中国 私家 车 总 数 已 达 1.26 亿 辆 ， 同比 增 加 15%, U^ 
仅 北京 就 有 560 万 辆 汽车 。053 Donald Shoup 的 研究 发 现 ， 都 市 区 30% 的 交通 拥堵 是 由 于 
司机 为 了 寻找 附近 的 停车 场 而 在 商务 区 线圈 造成 的 。""9 这 是 交通 拥挤 、 空 气 污染 和 环境 
恶化 的 重要 原因 。“ 在 造成 气候 变化 的 二 氧化 碳 排放 中 约 有 30% 来 自 汽车 "。05 另外 ,， 根 
据 估 算 , 在 都 市 中 有 23%~45% 的 交通 拥堵 中 发 生 在 道路 交叉 处 。 交通 灯 和 停车 标志 不 
能 发 挥 作 用 , 因为 它们 是 静止 的 , 无 法 将 交通 流量 考虑 其 中 。 绿灯 或 红 灯 是 按照 固定 间隔 
提前 设 定好 的 , 不 管 某 个 方向 的 车 流量 有 多 大 。 一 旦 无 人 车 逐渐 投入 使 用 , 并 占 到 车 流量 
比较 大 的 比例 ， 车 载 感应 器 将 能 够 与 智能 交通 系统 联合 工作 ， 优 化 道路 交叉 口 的 车 流量 。 
红绿灯 的 间隔 也 将 是 动态 的 ,根据 道路 车 流量 实时 变动 。 这 样 可 以 通过 提高 车 辆 通行 效率 ， 
缓解 拥堵 。 
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完成 停车 时 ， 无 人 车 能 将 每 侧 人 为 预 留 的 空间 减少 10 厘米 ， 每 个 停车 位 就 可 以 减少 
1.95 平方 米 , 此 外 层 高 也 可 以 按照 车 身 进行 设计 。 通过 无 人 车 与 传统 汽车 使 共享 车 库 , 所 
需要 的 车 库 空 间 将 减少 26%。 如 果 车 库 直 供 自动 泊 车 汽车 使 用 ， 则 所 需 的 车 库 空间 将 减 
少 62%。 节 省 的 土地 可 以 用 于 建设 其 他 对 行车 和 行人 更 加 友好 的 街道 ， 同 时 也 节省 了 消 
费 者 停车 和 取 车 的 时 间 。 

4. 减少 空气 污染 

汽车 是 造成 空气 质量 下 降 的 主要 原因 之 一 。 兰 德 公司 的 研究 表明 , “无 人 驾驶 技术 能 
提高 燃料 效率 ， 通 过 更 顺畅 的 加 速 、 减 速 ， 能 比 手动 驾驶 提高 4%~10% 的 燃料 效率 。”m™ 
由 于 工业 区 的 烟 筋 与 汽车 数量 有 关 ， 增 加 无 人 车 的 数量 能 减少 空气 污染 。 一 项 2016 年 的 
研究 估计 ,“ 等 红 灯 或 交通 拥堵 时 汽车 造成 的 污染 比 车 辆 行驶 时 高 40%。”"" 无 人 车 共享 
系统 也 能 带 来 减 排 和 节能 的 好 处 。 德 克 萨 斯 大 学 奥 斯 洒 分 校 的 研究 人 员 研究 了 二 氧化 硫 、 
一 氧化 碳 、 氮 氧化 物 、 挥 发 性 有 机 化 合 物 、 温 室 气体 和 细小 颗粒 物 。 结 果 发 现 ,“ 使 用 无 
人 车 共享 系统 不 仅 节省 能 源 ， 还 能 减少 各 种 污染 物 的 排放 。”®m 约 车 公司 Uber 发 现 ， 该 
公司 在 旧金山 和 洛杉矶 的 车 辆 出 行 中 分 别 有 50% 和 30% 是 多 乘客 拼车 。 在 全 球 范围 内 ， 
这 一 数字 为 20%。” 无 论 是 传统 车 ， 还 是 无 人 车 ， 拼 车 的 乘客 越 多 ， 对 环境 越 好 ， 也 越 
能 缓解 交通 拥堵 。 改 变 一 车 一 人 的 模式 将 能 大 大 改善 空气 质量 。 





1.2 ”自动 驾驶 的 分 级 


2013 年 ， 美 国 国家 公路 交通 安全 管理 局 (NHTSA， 制 定 各 种 监管 和 标准 ) 发 布 了 汽 
车 自动 化 的 五 级 标准 , 将 自动 驾驶 功能 分 为 5 个 级 别 : 0~4 级 的 ， 以 应 对 汽车 主动 安全 技 
术 的 爆发 增长 。 先 看 NHTSA 下 的 定义 ， 如 图 1-2 所 示 。 


(1) Level 0: 无 自动 化 。 没 有 任何 自动 驾驶 功能 、 技 术 ， 司 机 对 汽车 所 有 功能 拥有 
绝对 控制 权 。 鸭 驶 员 需 要 负责 启动 、 制 动 、 操 作 和 观察 道路 状况 。 任 何 驾驶 辅助 技术 , 只 
要 仍 需 要 人 控制 汽车 ， 都 属于 Level 0。 所 以 现 有 的 前 向 碰撞 预警 、 车 道 偏离 预警 ， 以 及 
` 自动 雨刷 和 自动 前 灯 控 制 ， 虽 然 有 一 定 的 智能 化 ， 但 是 都 仍 属于 Level 0。 
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图 1-2 NHTSA 和 SAE 对 自动 驾驶 的 分 级 比较 


(2) Level 1: 单一 功能 级 的 自动 化 。 驾 驶 员 仍 然 对 行车 安全 负责 ， 不 过 可 以 放弃 部 
分 控制 权 给 系统 管理 ， 某 些 功能 已 经 自动 进行 ， 比 如 常见 的 自 适应 人 巡航 (Adaptive Cruise 
Control, ACC )、 应 急 刹 车 辅助 (Emergency Brake Assist, EBA ) 和 车 道 保持 ( Lane-Keep 
Support, LKS )。Level 1 的 特点 是 只 有 单一 功能 ， 和 驾驶 员 无 法 做 到 手 和 脚 同 时 不 操控 。 


(3) Level 2: 部 分 自动 化 。 司 机 和 汽车 来 分 享 控制 权 ， 和 驾驶 员 在 某 些 预 设 环境 下 可 
以 不 操作 汽车 , 即 手脚 同时 离开 控制 , 但 驾驶 员 仍 需要 随时 待命 , 对 轰 驶 安全 负责 , 并 随 
时 准备 在 短 时 间 内 接管 汽车 驾驶 权 。 比 如 结合 了 ACC 和 LKS 形成 的 跟 车 功能 。Level 2 
的 核心 不 在 于 要 有 两 个 以 上 的 功能 ， 而 在 于 驾驶 员 可 以 不 再 作为 主要 操作 者 。Tesla 推送 
的 autopilot 也 是 Level 2 的 功能 。 

(4) Level 3: 有 条 件 自动 化 。 在 有 限 情况 下 实现 自动 控制 ， 比 如 在 预 设 的 路 段 (如 
高 速 和 人 流 较 少 的 城市 路 段 )， 汽车 自动 驾驶 可 以 完全 负责 整个 车 辆 的 操控 ,但 是 当 遇 到 紧 
急 情 况 ， 驾 驶 员 仍 需要 在 某 些 时 候 接 管 汽 车 ， 但 有 足够 的 预警 时 间 ， 如 即将 进入 修 路 的 路 段 
(Road work ahead ), Level 3 将 解放 驾驶 员 ， 即 对 行车 安全 不 青 负责 ， 不 必 监 视 道路 状况 。 

(5) Level4: 完全 自动 化 (无 人 驾驶 )， 无 须 司机 或 乘客 的 干预 。 在 无 须 人 协助 的 情 
况 下 由 出 发 地 驶 向 目的 地 。 仅 需 起 点 和 终点 信息 , 汽车 将 全 程 负责 行车 安全 , 并 完全 不 依 
赖 驾驶 员 干 涉 。 行 车 时 可 以 没有 人 乘坐 ( 如 空 车 货运 )。 


男 一 个 对 自动 驾驶 的 分 级 来 自 美国 机 动工 程 师 协 会 ( SAE )， 其 定义 自动 驾驶 技术 共 


sjs.cn 000000 


下 第 一 本 无 人 驾驶 技术 书 


分 为 0~5 Jo P SAE 的 定义 在 自动 驾驶 0~3 级 与 NHTSA 一 致 ,分 别 强 调 的 是 无 自动 化 、 
鸭 驶 支持 、 部 分 自动 化 与 条 件 下 的 自动 化 。 唯 一 的 区 别 在 于 SAE 对 NHTSA 的 完全 自动 
化 进行 了 进一步 细 分 ， 强 调 了 行车 对 环境 与 道路 的 要 求 。SAE-Level4 下 的 自动 驾驶 需要 
在 特定 的 道路 条 件 下 进行 , 比如 封闭 的 园区 或 者 固定 的 行车 线路 等 , 可 以 说 是 面向 特定 场 
景 下 的 高 度 自动 化 驾驶 。SAE-Level5 则 对 行车 环境 不 加 限制 ， 可 以 自动 地 应 对 各 种 复杂 
的 车 辆 、 新 人 和 道路 环境 。 


综 上 所 述 , 不同 Level 所 实现 的 自动 驾驶 功能 也 是 逐 层 递增 的 , ADAS ( Advanced 
Driving Assistant System ) 即 高 级 驾驶 辅助 系统 ， 属 于 自动 驾驶 0~2 级 。 如 表 1-1 所 示 ， 
LO 中 实现 的 功能 仅 能 够 进行 传 感 探测 和 决策 报警 ， 比 如 夜 视 系 统 、 交 通 标识 识别 、 行 人 
检测 、 车 道 偏离 警告 等 。L1 实现 单一 控制 类 功能 ， 如 支持 主动 紧急 制 动 、 自 适应 巡航 控 
制 系统 等 ， 只 要 实现 其 中 之 一 就 可 达到 L1。L2 实现 了 多 种 控制 类 功能 ， 如 具有 AEB 和 

KA 等 功能 的 车 辆 。L3 实现 了 特定 条 件 下 的 自动 驾驶 ， 当 超出 特定 条 件 时 将 由 人 类 驾驶 
员 接管 驾驶 。SAE 中 的 L4 是 指 在 特定 条 件 下 的 无 人 驾驶 ，, 如 封闭 园区 固定 线路 的 无 人 加 
驶 等 , 例如 百度 在 乌镇 景区 运营 的 无 人 驾驶 服务 。 而 SAE 中 的 LS 就 是 终极 目标 ,完全 无 
人 驾驶 。 无 人 驾驶 就 是 自动 驾驶 的 最 高 级 ， 它 是 自动 驾驶 的 最 终 形态 。 


表 1-1 逐 层 递增 的 自动 驾驶 功能 
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全 自动 无 人 车 可 能 比 半自动 驾驶 汽车 更 安全 ,因为 其 可 以 在 车 辆 行驶 时 排除 人 为 错误 
和 不 明智 的 判断 。 例 如 ， 弗吉尼亚 理工 大 学 交通 学 院 的 调查 表明 ,“L3 级 自动 驾驶 车 辆 的 
司机 回应 接管 车 辆 的 请 求 平均 需要 17 秒 , 而 在 这 个 时 间 内 ,一 辆 时 速 65 英里 ( 105 FK) 
的 汽车 已 经 开 出 1621 英尺 (494 米 ) 一 一 超过 5 个 足球 场 的 长 度 。” 百 度 的 工程 师 也 发 现 
了 类 似 的 结果 。 司机 从 看 到 路 面 物体 到 踩 刹车 需要 1.2 b, 远 远 长 于 车 载 计算 机 所 用 的 0.2 
秒 。 这 一 时 间 差 意味 着 ， 如 果 汽 车 时 速 是 120 PÆ (75 英里 )， 等 到 司机 停车 时 ， AT 
已 经 开 出 了 40 米 ( 44 码 ), 而 如 果 是 车 载 计 算 机 做 判断 , 则 开 出 的 距离 只 有 6.7 米 (7 码 )。 
在 很 多 事故 中 , 这 一 差距 将 决定 乘客 的 生死 。 由 此 可 见 , 站 在 自动 驾驶 最 高 级 的 无 人 驾驶 
才 是 汽车 行业 未 来 发 展 的 “终极 目标 ”。 


1.3 无 人 驾驶 系统 简介 


无 人 驾驶 系统 是 一 个 复杂 的 系统 ， 如 图 1-3 所 示 ， 系 统 主要 由 三 部 分 组 成 : 算法 端 、 
Client 端 和 云端 。 其 中 算法 端 包括 面向 传 感 、 感 知 和 决策 等 关键 步骤 的 算法 ; Client 端 包 
括 机 器 人 操作 系统 及 硬件 平台 ; 云端 包括 数据 存储 、 模 拟 、 高 精度 地 图 绘制 及 深度 学 习 模 
型 训练 。 
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图 1-3 无 人 驾驶 系统 架构 图 


算法 端 从 传感器 原始 数据 中 提取 有 意义 的 信息 以 了 解 周遭 的 环境 情况 ,并 根据 环境 变 
化 做 出 决策 。Client 端 融合 多 种 算法 以 满足 实时 性 与 可 靠 性 的 要 求 。 举 例 来 说 ， 传 感 器 以 
60Hz 的 速度 产生 原始 数据 ,Client 端 需要 保证 最 长 的 流水 线 处 理 周期 也 能 在 16ms 内 完成 。 
云 平台 为 无 人 车 提供 离线 计算 及 存储 功能 。 通 过 云 平台 , 我 们 能 够 测试 新 的 算法 、 更 新 高 
精度 地 图 并 训练 更 加 有 效 的 识别 、 追 踪 和 决策 模型 。 
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1.3.1 无 人 驾驶 算法 


算法 系统 由 几 部 分 组 成 : 第 一 , 传 感 , 并 从 传感器 原始 数据 中 提取 有 意义 信息 ; 第 二 ， 
感知 ， 以 定位 无 人 车 所 在 位 置 及 感知 现在 所 处 的 环境 ; 第 三 , 决策 ， 以 便 可 靠 、 安 全 地 抵 
达 目 的 地 。 


1. EÈ 


通常 来 说 , 一 辆 无 人 车 装备 有 许多 不 同类 型 的 主 传感器 。 每 一 种 类 型 的 传感器 各 自 有 
AARRE, 因此 , 来 自 不 同 传感器 的 传 感 数据 应 该 有 效 地 进行 融合 。 现在 无 人 驾驶 中 普 
遍 使 用 的 传感器 包括 以 下 几 种 。 


(1) GPS/IMU: GPS/IMU 传 感 系统 通过 高 达 200 Hz 频率 的 全 球 定 位 和 惯性 更 新 数 
据 ， 以 帮助 无 人 车 完成 自我 定位 。GPS 是 一 个 相对 准确 的 定位 用 传感器 ， 但 是 它 的 更 新 
频率 过 低 ， 仅 有 10Hz， 不 足以 提供 足够 实时 的 位 置 更 新 。IMU 的 准确 度 随 着 时 间 降 低 ， 
因此 在 长 时 间距 离 内 并 不 能 保证 位 置 更 新 的 准确 性 ; 但 是 , 它 有 着 GPS 所 欠缺 的 实时 性 ， 
IMU 的 更 新 频率 可 以 达到 200Hz 或 者 更 高 。 通 过 整合 GPS 与 IMU, 我 们 可 以 为 车 辆 定位 
提供 既 准确 又 足够 实时 的 位 置 更 新 。 


(2) LIDAR: 激光 雷达 可 被 用 来 绘制 地 图 、 定 位 及 避 障 。 雷 达 的 准确 率 非 常 高 ， 
此 在 无 人 车 设计 中 雷达 通常 被 作为 主 传感器 使 用 。 激光 雷达 是 以 激光 为 光源 , 通过 探测 激 
光 与 被 探测 物 相 互 作用 的 光波 信号 来 完成 遥感 测量 。 激 光 雷 达 可 以 用 来 产生 高 精度 地 图 ， 
并 针对 高 精 地 图 完成 移动 车 辆 的 定位 ， 以 及 满足 避 障 的 要 求 。 以 Velodyne 64- 束 激光 雷达 
为 例 ， 它 可 以 完成 10Hz 旋转 并 且 每 秒 可 达到 130 万 次 读数 。 


(3) 摄像 头 : 摄像 头 被 广泛 使 用 在 物体 识别 及 物体 追踪 等 场景 中 , 在 车 道 线 检测 、 交 
通 灯 侦 测 、 人 行道 检测 中 都 以 摄像 头 为 主要 解决 方案 。 为 了 加 强 安全 性 , 现 有 的 无 人 车 实 
现 通 常 在 车 身 周围 使 用 至 少 八 个 摄像 头 ， 分 别 从 前 、 后 、 左 、 右 四 个 维度 完成 物体 发 现 、 
识别 、 追 踪 等 任务 。 这 些 摄像 头 通常 以 60Hz 的 频率 工作 ， 当 多 个 摄像 头 同 时 工作 时 ， 将 
产生 高 达 1.8GB 每 秒 的 巨额 数据 量 。 

(4) 雷达 和 声呐 : 雷达 把 电磁 波 的 能 量 发 射 至 空间 中 某 一 方向 , 处 在 此 方向 上 的 物体 
反射 该 电磁 波 , 雷达 通过 接收 此 反射 波 , 以 提取 该 物体 的 某 些 有 关 信 息 , 包括 目标 物体 至 
雷达 的 距离 、 距 离 变化 率 或 径 向 速度 、 方位、 高 度 等 。 雷达 和 声呐 系统 是 玉 障 的 最 后 一 道 
保障 。 雷达 和 声呐 产生 的 数据 用 来 表示 在 车 的 前 进 方向 上 最 近 障 碍 物 的 距离 。 一 旦 系统 检 
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测 到 前 方 不 远 有 障碍 物 出 现 ， 则 有 极 大 的 相 撞 危 险 ， 无 人 车 会 启动 紧急 刹车 以 完成 避 障 。 
因此 , 雷达 和 声呐 系统 产生 的 数据 不 需要 过 多 的 处 理 , 通常 可 直接 被 控制 处 理 器 采用 , 并 
不 需要 主 计算 流水 线 的 介入 ， 因 此 可 实现 转向 、 刹 车 或 预 张 紧 安全 带 等 紧急 功能 。 


2. 感知 


在 获得 传 感 信息 之 后 ,数据 将 被 推送 至 感知 子 系统 以 充分 了 解 无 人 车 所 处 的 周遭 环境 。 
在 这 里 感知 子 系统 主要 做 的 是 三 件 事 : 定位 、 物 体 识别 与 追踪 。 


1) 定位 


GPS 以 较 低 的 更 新 频率 提供 相对 准确 的 位 置信 息 ，IMU 则 以 较 高 的 更 新 频率 提供 准 
确 性 偏 低 的 位 置信 息 。 我 们 可 以 使 用 卡尔 曼 滤波 整合 两 类 数据 各 自 的 优势 , 合并 提供 准确 
且 实 时 的 位 置信 息 更 新 。 如 图 1-4 所 示 ，IMU 每 Sms 更 新 一 次 ， 但 是 期 间 误差 不 断 累 积 
精度 不 断 降 低 。 所 幸 的 是 ， 每 100ms， 我 们 可 以 得 到 一 次 GPS 数据 更 新 ， 以 帮助 我 们 校 
IE IMU 积累 的 误差 。 因 此 ， 我 们 最 终 可 以 获得 实时 并 准确 的 位 置信 息 。 然 而 ， 我 们 不 能 
仅仅 依靠 这 样 的 数据 组 合 完成 定位 工作 。 原 因 有 三 :其 一 ,这 样 的 定位 精度 仅 在 一 米 之 内 ; 
HZ, GPS 信号 有 着 天 然 的 多 路 径 问 题 将 引入 噪声 干扰 ; 其 三 ，GPS 必须 在 非 封闭 的 环 
境 下 工作 ， 因 此 在 诸如 隧道 等 场景 中 GPS 都 不 适用 。 
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图 1-4 基于 GPSAMU 定位 的 原理 图 


因此 作为 补充 方案 ， 摄 像 头 也 被 用 于 定位 。 简 化 来 说 ， 如 图 1-5 所 示 ， 基 于 视觉 的 定 
位 由 三 个 基本 步骤 组 成 : CD 通过 对 立体 图 像 的 三 角 剖 分 ， 首 先 获得 视差 图 用 以 计算 每 个 
点 的 深度 信息 ; C 通过 匹配 连续 立体 图 像 帧 之 间 的 显著 特征 ， 可 以 通过 不 同 帧 之 间 的 特 
征 建立 相关 性 ， 并 由 此 估计 这 两 巾 之 间 的 运动 情况 ; QD 通过 比较 捕捉 到 的 显著 特征 和 已 
知 地 图 上 的 点 计算 车 辆 的 当前 位 置 。 然 而 , 基于 视觉 的 定位 方法 对 照明 条 件 非 常 敏感 , 因 
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此 其 使 用 受 限 且 可 靠 性 有 限 。 

因此 , 借助 于 大 量 粒子 滤波 的 激光 雷达 通常 被 用 作 车 辆 定位 的 主 传感器 。 由 激光 雷达 
产生 的 点 云 对 环境 进行 了 “形状 化 描述 ”, 但 并 不 足以 区 分 各 自 不 同 的 点 。 通 过 粒子 滤波 ， 
系统 可 将 已 知 地 图 与 观测 到 的 具体 形状 进行 比较 以 减少 位 置 的 不 确定 性 。 
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Previous Disparity Map 
1-5 基于 立体 视觉 测 距 的 流程 图 
为 了 在 地 图 中 定位 运动 的 车 辆 ,可 以 使 用 粒子 滤波 的 方法 关联 已 知 地 图 和 激光 雷达 测 
量 过 程 。 粒 子 滤 波 可 以 在 10cm 的 精度 内 达到 实时 定位 的 效果 , 在 城市 的 复杂 环境 中 尤为 
有 效 。 然 而 ,激光 雷达 也 有 其 固有 的 缺点 :如 果 空 气 中 悬 浮 的 颗粒 ( 比如 雨滴 或 者 灰尘 )， 
那么 测量 结果 将 受到 极 大 的 扰动 。 因 此 ,如 图 1-6 所 示 , 我 们 需要 利用 多 种 传 感 顺 融 合 技 
术 进 行 多 类 型 传 感 数据 融合 ， 处 理 以 整合 所 有 传感器 的 优点 ， 完 成 可 靠 并 精准 的 定位 。 
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图 1-6 定位 中 的 多 传感器 融合 
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2) 物体 识别 与 跟踪 


激光 雷达 可 提供 精准 的 深度 信息 ,因此 常 被 用 于 在 无 人 鸭 驶 中 执行 物体 识别 和 追踪 的 
任务 。 近 年 来 , 深度 学 习 技术 得 到 了 快速 的 发 展 , 通过 深度 学 习 可 达到 较 显 著 的 物体 识别 
和 追踪 精度 。 


卷 积 神经 网 络 ( CNN ) 是 一 类 在 物体 识别 中 被 广泛 应 用 的 深度 神经 网 络 。 通 常 ，CNN 
由 三 个 阶段 组 成 : O 卷 积 层 使 用 不 同 的 滤波 器 从 输入 图 像 中 提取 不 同 的 特征 ， 并 且 每 个 
过 滤器 在 完成 训练 阶段 后 都 将 抽取 出 一 套 “ 可 供 学 习 ” 的 参数 ; @ 激活 层 决定 是 否 启动 
目标 神经 元 ; © 汇聚 层 压 缩 特征 映射 图 所 占用 的 空间 以 减少 参数 的 数目 ， 并 由 此 降低 所 
需 的 计算 量 ; © 一 旦 某 物体 被 CNN 识别 出 来 ， 下 一 步 将 自动 预测 它 的 运行 轨迹 或 进行 
物体 追踪 ， 如 图 1-7 所 示 。 





图 1-7 物体 识别 和 跟踪 示意 


物体 追踪 可 以 被 用 来 追踪 邻近 行驶 的 车 辆 或 者 路 上 的 行人 ,以 保证 无 人 车 在 驾驶 的 过 
程 中 不 会 与 其 他 移动 的 物体 发 生 碰撞 。 近 年 来 , 相 比 传统 的 计算 机 视觉 技术 , 深度 学 习 技 
术 已 经 展露 出 极 大 的 优势 , 通过 使 用 辅助 的 自然 图 像 , 离线 的 训练 过 程 可 以 从 中 学 习 图 像 
的 共有 属性 以 避免 视点 及 车 辆 位 置 变化 造成 的 偏 移 ,离线 训练 好 的 模型 直接 应 用 在 在 线 的 
物体 追踪 中 。 


3. 决策 


在 决策 阶段 , 行为 预测 、 路 径 规划 及 避 障 机 制 三 者 结合 起 来 实时 地 完成 无 人 轰 驶 动作 
规划 。 
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1) 行为 预测 

在 车 辆 驾驶 中 主要 考验 的 是 司机 如 何 应 对 其 他 行驶 车 辆 的 可 能 行为 ,这 种 预 判断 直接 
影响 司机 本 人 的 驾驶 决策 , 特别 是 在 多 车 道 环境 或 者 交通 灯 变 灯 的 情况 下 , 司机 的 预测 决 
定 了 下 一 秒 行 车 的 安全 。 因此, 过 渡 到 无 人 芍 驶 系统 中 , 决策 模块 如 何 根 据 周围 车 辆 的 行 
驶 状况 决策 下 一 秒 的 行驶 行为 显得 至 关 重 要 。 

为 了 预测 其 他 车 辆 的 行驶 行为 , 可 以 使 用 随机 模型 产生 这 些 车 辆 的 可 达 位 置 集合 , 并 
采用 概率 分 布 的 方法 预测 每 一 个 可 达 位 置 集 的 相关 概率 ， 如 图 1-8 所 示 。 





1-8 面向 行为 预测 的 随机 模型 示意 


2) 路 径 规划 

为 无 人 轰 驶 在 动态 环境 中 进行 路 径 规划 是 一 件 非常 复杂 的 事情 ,尤其 是 在 车 辆 全 速 行 
驶 的 过 程 中 , 不 当 的 路 径 规划 有 可 能 造成 致命 的 伤害 。 路 径 规 划 中 采取 的 一 个 方法 是 使 用 
完全 确定 模型 , 它 搜索 所 有 可 能 的 路 径 并 利用 代价 函数 的 方式 确定 最 佳 路 径 。 然 后, 完全 
确定 模型 对 计算 性 能 有 着 非常 高 的 要 求 , 因此 很 难 在 导航 过 程 中 达到 实时 的 效果 。 为 了 如 
免 计 算 复 杂 性 并 提供 实时 的 路 径 规 划 ， 使 用 概率 性 模型 成 为 了 主要 的 优化 方向 。 

3) 避 障 

安全 性 是 无 人 驾驶 中 最 重要 的 考量 ,我 们 将 使 用 至 少 两 层级 的 避 障 机 人 制 来 保证 车 辆 不 
会 在 行驶 过 程 中 与 障碍 物 发 生 碰 撞 。 第 一 层级 是 基于 交通 情况 预测 的 前 瞻 层 级 。 交通 情况 
预测 机 制 根据 现 有 的 交通 状况 如 拥堵 、 车 速 等 , 估计 出 碰撞 发 生 时 间 与 最 短 预测 距离 等 参 
数 。 基 于 这 些 估 计 ， 避 障 机 制 将 被 启动 以 执行 本 地 路 径 重 规划 。 如 果 前 瞻 层 级 预测 失效 ， 
则 第 二 级 实时 反应 层 将 使 用 雷达 数据 再 次 进行 本 地 路 径 重 规划 。 一 旦 雷达 侦 测 到 路 径 前 方 
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出 现 障 碍 物 ， 则 立即 执行 避 障 操作 。 
1.3.2 用户 端 系统 


用 户 端 系统 整合 上 述 避 障 、 路径 规划 等 算法 ,以 满足 可 靠 性 及 实时 性 等 要 求 。 用 户 端 
系统 需要 克服 三 个 方面 的 问题 : 其 一 , 系统 必须 确保 捕捉 到 的 大 量 传感器 数据 可 以 及 时 快 
速 地 得 到 处 理 ; 其 二 , 如 果 系统 的 某 部 分 失效 , 则 系统 需要 有 足够 的 健壮 性 能 从 错误 中 恢 
复 ; 其 三 ， 系 统 必须 在 设计 的 能 耗 和 资源 限定 下 有 效 地 完成 所 有 的 计算 操作 。 


1. 机 器 人 操作 系统 


机 器 人 操作 系统 ROS 是 现 如 今 广 泛 被 使 用 的 、 专 为 机 器 人 应 用 裁剪 的 、 强 大 的 分 布 
式 计算 框架 。ROS 为 机 器 人 应 用 提供 诸如 硬件 抽象 描述 、 底 层 驱动 程序 管理 、 消 息 管 理 
与 传递 、 程 序 发 行 包 管理 等 基本 功能 , 同时 也 提供 一 系列 工具 和 库 用 于 开发 、 获 取 和 运行 
机 器 人 应 用 。 节 点 (node) 是 ROS 中 的 基本 单位 ,其 粒度 范围 很 广 ， 小 到 一 个 传感器 大 
到 一 个 完整 的 机 器 人 都 可 以 是 一 个 节点 。 每 一 个 机 器 人 任务 ， 比 如 避 障 ， 也 作为 ROS 中 
的 一 个 节点 存在 。 节 点 与 节点 之 间 通 过 消息 互相 通信 , 其 通信 是 端 对 端的 , 消息 可 以 按照 
主题 分 类 ， 也 可 以 包装 成 远程 服务 调用 的 形式 。ROS 中 的 节点 管理 器 和 消息 管理 器 提供 
命名 和 查找 服务 以 方便 节点 在 运行 时 能 找到 彼此 ， 如 图 1-9 所 示 。 
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图 1-9 ROS 操作 系统 结构 示意 图 
ROS 非常 适用 于 无 人 驾驶 的 场景 ,但 是 仍 有 一 些 问题 需要 解决 。 
。 可 靠 性 : ROS 使 用 单 主 节点 结构 ， 并 且 没 有 监控 机 制 以 恢复 失效 的 节点 。 
o 性能: 当 节 点 之 间 使 用 广播 消息 的 方式 通信 时 , 将 产生 多 次 信息 复制 导致 性 能 下 降 。 
e 安全 : ROS 中 没有 授权 和 加 密 机 制 ， 因 此 安全 性 受到 很 大 的 威胁 。 
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尽管 ROS 2.0 承诺 将 解决 上 述 问 题 , 但 是 现 有 的 ROS 版 本 中 仍然 没有 相关 的 解决 方 
案 。 因 此 ， 为 了 在 无 人 轰 驶 中 使 用 ROS ， 我 们 需要 自行 克服 这 些 难题 。 


1) 可 靠 性 


现 有 的 ROS 实现 只 有 一 个 主 节点 ， 因 此 当主 节点 失效 时 ， 整 个 系统 也 随 之 崩 江 。 这 
对 行驶 中 的 汽车 而 言 是 致命 的 缺陷 。 为 了 解决 此 问题 ， 我 们 在 ROS 中 使 用 类 似 于 
ZooKeeper 的 方法 。 如 图 1-10 所 示 ， 改 进 后 的 ROS 结构 包括 一 个 关键 主 节点 及 一 个 备用 
主 节点 。 如果 关 键 主 节点 失效 , 则 备用 主 节点 将 被 自动 启用 以 确保 系统 能 够 无 颖 地 继续 运 
行 。 此 外 ，ZooKeeper 机 制 将 监控 并 自动 重启 失效 节点 ， 以 确保 整个 ROS 系统 在 任何 时 
刻 都 是 双 备 份 模式 。 
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图 1-10 面向 ROS 的 ZooKeeper 结构 
2) 性 能 


性 能 是 现 有 ROS 版 本 中 有 欠 考 虑 的 部 分 ，ROS 节点 之 间 的 通信 非常 频繁 ,因此 设计 
高 效 的 通信 机 制 对 保证 ROS 的 性 能 势 在 必 行 。 首 先 ， 本 地 节点 在 与 其 他 节点 通信 时 使 用 
回环 机 制 ， 并 且 每 一 次 回环 通信 的 执行 都 将 完整 地 通过 TCP/IP 全 协议 栈 ， 从 而 引入 高 达 
20 微 秒 的 时 延 。 为 了 消除 本 地 节点 通信 的 代价 ,我 们 不 再 使 用 TCP/IP 的 通信 模式 ， 取 而 
代 之 地 采用 共享 内 存 的 方法 完成 节点 通信 。 其 次 ， 当 ROS 节点 广播 通信 消息 时 ， 消 息 被 
多 次 复制 与 传输 , 消耗 了 大 量 的 系统 带宽 。 如 果 改 成 目的 地 更 明确 的 多 路 径 传输 机 制 则 将 
极 大 地 改善 系统 的 带宽 与 吞吐 量 ， 如 图 1-11 所 示 。 
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图 1-11 多 路 传播 和 广播 的 通信 性 能 比较 
3) 安全 


安全 是 ROS 系统 中 最 重要 的 需求 。 如 果 一 个 ROS 节点 被 挟 制 后 , 则 会 不 停 地 进行 内 
存 分 配 ,整个 系统 最 终 将 因 内 存 耗 尽 而 导致 剩余 节点 失效 继而 全 线 崩溃 。 在 另 一 个 场景 中 ， 
因为 ROS 节点 本 身 没有 加 密 机 制 ， 黑 客 可 以 很 容易 地 在 节点 之 间 窃 听 消 息 并 完成 系统 
入 侵 。 


为 了 解决 安全 问题 , 我 们 使 用 Linux containers ( LXC ) 的 方法 限制 每 一 个 节点 可 供 使 
用 的 资源 数 , 并 采用 沙 盒 的 方式 以 确保 节点 的 运行 独立 , 这 样 以 来 可 最 大 限度 地 防止 资源 
泄露 。 同 时 ， 我 们 为 通信 消息 进行 了 加 密 操作 ， 以 防止 其 被 黑客 窃听 。 


2. 硬件 平台 


为 了 深入 理解 设计 无 人 驾驶 硬件 平台 中 可 能 遇 到 的 挑战 ,让 我 们 来 看 看 现 有 的 领先 无 
人 车 驾驶 产品 的 计算 平台 构成 。 此 平台 由 两 个 计算 盒 组 成 , 每 一 个 装备 有 INTEL Xeon E5 
处 理 器 及 4 到 8 个 Nvidia Tesla K80 GPU 加 速 器 。 两 个 计算 盒 执行 完全 一 样 的 工作 ， 第 
二 个 计算 盒 作为 计算 备份 以 提高 整个 系统 的 可 靠 性 , 一 旦 第 一 个 计算 盒 发 生 故 障 , 计算 盒 
二 可 以 无 颖 地 接手 所 有 的 计算 工作 。 

在 极端 的 情况 下 ， 如 果 两 个 计算 盒 都 在 峰值 下 运行 ， 及 时 功 耗 将 高 达 5000W， 同 时 
也 将 遭遇 非常 严重 的 发 热 问题 。 因 此 ,计算 盒 必 须 配备 有 额外 的 散热 装置 , 可 采用 多 风扇 
或 者 水 冷 的 方案 。 同时, 每 一 个 计算 盒 的 造价 非常 昂贵 ,高 达 2 万 至 3 万 美元 ,致使 现 有 
无 人 车 方案 对 普通 消费 者 而 言 无 法 承受 。 
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现 有 无 人 车 设计 方案 中 存在 的 功 耗 问题 散热 问题 及 造价 问题 使 得 无 人 驾驶 进入 普罗 
大 众 显得 遥 不 可 及 。 为 了 探索 无 人 驾驶 系统 在 资源 受 限 及 能 耗 受 限时 运行 的 可 行 性 , 我 们 
在 ARM 面向 移动 市 场 的 SoC 实现 了 一 个 简化 的 无 人 驾驶 系统 ， 实 验 显 示 ， 在 峰值 情况 
下 能 耗 仅 为 13W。 


非常 惊人 地 ， 在 移动 类 SoC 上 ， 无 人 轰 驶 系统 的 性 能 反而 带 给 了 我 们 一 些 惊喜 : 定 
位 算法 可 以 达到 每 秒 25 帧 的 处 理 速度 , 同时 能 维持 图 像 生 成 的 速度 在 30 帧 每 秒 。 深度 学 
习 则 能 在 一 秒 内 完成 2-3 个 物体 的 识别 工作 。 路 径 规 划 和 控制 则 可 以 在 6 毫秒 之 内 完成 = 
规划 工作 。 在 性 能 的 驱动 下 , 我 们 可 以 在 不 损失 任何 位 置信 息 的 情况 下 达到 每 小 时 5 迈 的 
行驶 速度 。 





1.8. ” 云 平台 


无 人 车 是 移动 系统 , 因此 需要 云 平台 的 支持 。 云 平台 主要 从 分 布 式 计算 及 分 布 式 存储 
两 方面 对 无 人 驾驶 系统 提供 支持 。 无 人 驾驶 系统 中 很 多 的 应 用 , 包括 用 于 验证 新 算法 的 仿 
真 应 用 、 高 精度 地 图 产生 和 深度 学 习 模型 训练 都 需要 云 平台 的 支持 。 我们 使 用 Spark 构建 
了 分 布 式 计算 平台 ,使 用 OpenCL 构建 了 异 构 计算 平台 ,使 用 Alluxio 作为 内 存 存储 平台 。 
通过 这 三 个 平台 的 整合 ， 可 以 为 无 人 轰 驶 提供 高 可 靠 、 低 延迟 及 高 吞吐 的 云端 支持 。 

1. 仿真 

当 我 们 为 无 人 驾驶 开发 出 新 算法 时 , 需要 先 通过 仿真 对 此 算法 进行 全 面 测试 , 测试 通 
过 之 后 才 进 入 真 车 测试 环节 。 真 车 测试 的 成 本 非常 高 昂 并 且 迭 代 周 期 异常 漫长 , 因此 仿真 
测试 的 全 面 性 和 正确 性 对 降低 生产 成 本 和 生产 周期 尤为 重要 。 在 仿真 测试 环节 , 我 们 通过 
在 ROS 节点 回放 真实 采集 的 道路 交通 情况 ， 模 拟 真 实 的 鸭 驶 场景 ， 完 成 对 算法 的 测试 。 
如 果 没 有 云 平台 的 帮助 , 单机 系统 耗费 数 小 时 才能 完成 一 个 场景 下 的 模拟 测试 , 既 耗 时 测 
iL i CAR 


在 云 平台 中 ，Spark 管理 着 分 布 式 的 多 个 计算 节点 ， 在 每 一 个 计算 节点 中 ， 都 可 以 部 
署 一 个 场景 下 的 ROS 回访 模拟 。 在 无 人 芍 驶 物体 识别 测试 中 ， 单 服务 器 需 耗 时 3 小 时 完 
成 算法 测试 ， 如 果 使 用 8 机 Spark 机 群 ， 则 时 间 可 以 缩短 至 25 分 钟 ， 如 图 1-12 所 示 。 
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图 1-12 ”基于 Spark 和 ROS 的 模拟 平台 架构 


2. 高 精度 地 图 生成 

如 图 1-13 所 示 ， 高 精度 地 图 的 产生 过 程 非常 复杂 ， 涉 及 原始 数据 处 理 、 点 云 生成 、 
BUE. 2D 反射 地 图 生成 、 高 精 地 图 标注 、 地 图 生成 等 阶段 。 使 用 Spark 可 以 将 所 有 
这 些 阶 段 整合 成 一 个 Spark 作业 。 由 于 Spark 天 然 的 内 存 计 算 的 特性 ,在 作业 运行 过 程 中 
产生 的 中 间 数 据 都 存储 在 内 存 中 。 当 整个 地 图 生产 作业 提交 之 后 ， 不 同 阶段 之 间 产 生 的 
大 量 数据 不 需要 使 用 磁盘 存储 ,数据 访问 速度 加 快 ,从 而 极 大 提高 精度 了 高 地 图 产生 的 
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1-13 ”基于 云 平台 的 高 精度 地 图 生成 流程 图 
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1.4 ”序幕 刚 启 


无 人 驾驶 作为 人 工 智能 的 一 个 重大 应 用 发 现 从 来 就 不 是 某 一 项 单一 的 技术 , 它 是 众多 
技术 的 整合 。 它 需要 有 算法 上 的 创新 、 系 统 上 的 融合 ,以 及 来 自 云 平台 的 支持 。 无 人 驾驶 
序幕 刚 启 , 其 中 有 着 和 干 干 万 万 的 机 会 中 待 发 据 。 在 此 背景 之 下 ,过 去 的 儿 年 中 ,自动 驾驶 
产业 化 在 多 个 方面 取得 了 很 大 进步 , 其 中 合作 共享 已 成 为 共识 , 产业 链 不 断 整合 , 业界 企 
业 相 继 开展 合作 ， 传 感 器 价格 将 不 断 下 降 ， 预 计 在 2020 年 ， 将 有 真正 意义 上 的 无 人 车 面 
市 ， 让 我 们 拭目以待 。 
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光学 雷达 在 无 人 驾驶 技 
术 中 的 应 用 


无 人 车 的 成 功 涉及 了 包括 高 精 地 图 、 实 时 定位 ,以 及 障碍 物 检测 等 多 个 技术 ,而 这 些 
技术 都 离 不 开光 学 雷达 。 本 章 简单 介绍 了 无 人 轰 驶 技术 , 并 且 深 入 解释 了 光学 雷达 如 何 被 
广泛 应 用 到 无 人 车 的 各 个 技术 中 。 本 章 首先 介绍 光学 雷达 的 工作 原理 包括 如 何 通过 激光 扫 
描 出 点 云 。 接 下 来 详细 解释 光学 雷达 在 无 人 驾驶 技术 中 的 应 用 , 包括 地 图 绘制 、 定 位 ， 以 
及 障碍 物 检 测 。 最 后 讨论 光学 雷达 技术 目前 面临 的 挑战 ， 包 括 外 部 环境 干扰 、 数 据 量 大 、 
成 本 高 等 问题 。 


2.1 无 人 驾驶 技术 简介 


无 人 驾驶 技术 是 多 个 技术 的 集成 ,包括 传感器 、 定 位 与 深度 学 习 、 高 精 地 图 、 路 径 规 
划 、 障 碍 物 检测 与 规 必 、 机 械 控制 、 系 统 集成 与 优化 、 能 耗 与 散热 管理 等 。 图 2-1 所 示 为 
无 人 车 的 通用 系统 图 , 虽然 现 有 的 多 种 无 人 车 在 实现 上 有 许多 不 同 , 但 是 在 系统 架构 上 都 
大 同 小 异 。 在 系统 的 感知 端 由 不 同 的 传感器 组 成 ， 其 中 包括 GPS 用 于 定位 ， 光 学 雷达 用 
于 定位 及 障碍 物 检测 ， 照 相机 用 于 深度 学 习 的 物体 识别 ， 以 及 定位 辅助 。 


在 传感器 信息 采集 后 , 进入 了 感知 阶段 , 主要 是 定位 与 物体 识别 。 在 这 个 阶段 , 可 以 
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用 数学 的 方法 ,比如 Kalman Filter 与 Particle Filter 等 算法 , 对 各 种 传感器 信息 进行 融合 ， 
并 得 出 当前 最 大 概率 的 位 置 。 如 果 使 用 光学 雷达 为 主要 的 定位 传感器 , 则 可 以 通过 光学 雷 
达 扫 描 回来 的 信息 跟 已 知 的 高 精 地 图 做 对 比 , 从 而 得 出 当前 的 车 辆 位 置 。 如 果 当 前 没有 地 
图 ， 那 么 甚至 可 以 把 当前 的 光学 雷达 扫描 与 之 前 的 光学 雷达 扫描 用 ICP 算法 做 对 比 ， 从 
而 推算 出 当前 的 车 辆 位 置 。 在 得 出 基于 光学 雷达 的 位 置 预测 后 , 可 以 用 数学 的 方法 与 其 他 
的 传感器 信息 进行 融合 ， 推 算出 更 精准 的 位 置信 息 。 


GPS a /AN 





光学 雷达 
-- 9 [nsnm 


图 2-1 无 人 车 通用 系统 架构 示意 图 


最 后 , 我 们 进入 了 计划 与 控制 阶段 。 在 这 个 阶段 , 我 们 根据 位 置信 息 及 识别 出 的 图 像 
信息 (比如 红绿灯 ), 实时 调节 车 辆 的 行车 计划 ， 并 把 行车 计划 转化 成 控制 信号 去 操控 车 
辆 。 全 局 的 路 径 规划 可 以 用 A-Star 类 似 的 算法 实现 , 本 地 的 路 径 规划 可 以 用 DWA 等 算法 
实现 。 


2.2 ”光学 雷达 基础 知识 


无 人 车 涉及 了 包括 高 精 地 图 、 实 时 定位 ， 以 及 障碍 物 检测 等 多 个 技术 , 而 这 些 技术 都 
离 不 开光 学 雷达 。 本 节 简 单 介 绍 光学 雷达 的 工作 原理 ， 特 别 是 产生 点 云 的 过 程 "1。 


2.2.1 工作 原理 


光学 雷达 ( Light Detection And Ranging, LIDAR ) 是 一 种 光学 遥感 技术 ， 它 通过 首先 
向 目标 物体 发 射 一 束 激光 , 然后 根据 接收 一 反射 的 时 间 间 隔 确定 目标 物体 的 实际 距离 。 然 
后 根据 距离 及 激光 发 射 的 角度 , 通过 简单 的 几何 变化 推导 出 物体 的 位 置信 息 。 由 于 激光 的 
传播 受 外 界 影响 小 ，LiDAR 能 够 检测 的 距离 一 般 可 达 100m 以 上 。 与 传统 雷达 使 用 无 线 
电波 相 比 较 ,LiDAR 使 用 激光 射线 ,商用 LiDAR 使 用 的 激光 射线 波长 一 般 在 600~1000nm, 
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远 远 低 于 传统 雷达 所 使 用 的 波长 。 因 此 ，LiDAR 在 测量 物体 距离 和 表面 形状 上 可 达到 更 
高 的 精准 ， 一 般 精 准 度 可 以 达到 厘米 级 。 


LiDAR 系统 一 般 分 为 三 个 部 分 : 第 一 部 分 是 激光 发 射 器 , 发 射出 波长 为 600~1000nm 
的 激光 射线 ; 第 二 部 分 是 扫描 与 光学 部 件 , 主要 用 于 收集 反射 点 距离 与 该 点 发 生 的 时 间 和 
水 平角 度 (Azimuth ); 第 三 部 分 是 感光 部 件 ， 主要 检测 返回 光 的 强度 。 因 此 , 我 们 检测 到 
的 每 一 个 点 都 包括 了 空间 坐标 信息 (x, y, z) 及 光 强 度 信息 <i>。 光 强度 与 物体 的 光 反 射 度 
(reflectivity) 直接 相关 ， 所 以 从 检测 到 的 光 强 度 我 们 也 可 以 对 检测 到 的 物体 有 初步 判断 。 


222 ”什么 是 点 云 


无 人 车 所 使 用 的 LIDAR 并 不 是 静止 不 动 的 。 在 无 人 车 行驶 的 过 程 中 , LIDAR 同时 以 
一 定 的 角速度 匀速 转动 , 在 这 个 过 程 中 不 断 地 发 出 激光 并 收集 反射 点 的 信息 , 以 便 得 到 全 
方位 的 环境 信息 。LiDAR 在 收集 反射 点 距离 的 过 程 中 也 会 同时 记录 下 该 点 发 生 的 时 间 和 
水 平角 度 (Azimuth ), 并 且 每 个 激光 发 射 器 都 有 其 编号 和 固定 的 垂直 角度 , 根据 这 些 数 据 
就 可 以 计算 出 所 有 反射 点 的 坐标 。LiDAR 每 旋转 一 周 ， 收 集 到 的 所 有 反射 点 坐标 的 集合 
就 形成 了 点 云 (Point Cloud )。 


如 图 2-2 所 示 ，LiDAR 通过 激光 反射 可 以 测 出 和 物体 的 距离 ( distance )， 因 为 激光 
的 垂直 角度 是 固定 的 ， 记 作 a， 这 里 我 们 可 以 直接 求 出 z 轴 坐 标 为 sin(a) * distance. FH 
cos(a) * distance 可 以 得 到 distance TE xy FHH, iufF xy dist, LIDAR 在 记录 反射 点 
距离 的 同时 也 会 记录 下 当前 LIDAR 转动 的 水 平角 度 5»， 这 样 根据 简单 的 集合 转换 就 可 以 
得 到 该 点 的 x、y 坐标 分 别 为 cos(b) * xy. dist 和 sin(b) * xy_dist。 





图 2-2 点 云 产 生 的 坐标 示意 图 
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2.3 LIDAR 在 无 人 驾驶 技术 中 的 应 用 领域 


本 证 介绍 光学 雷达 是 如 何 应 用 在 无 人 疡 驶 技术 中 的 , 特别 是 面向 高 精 地 图 的 绘制 、 基 
于 点 云 的 定位 ， 以 及 障碍 物 检 测 。 


2.3.1 高 清 地 图 的 绘制 


这 里 的 高 清 地 图 不 同 于 我 们 日 常用 到 的 导航 地 图 。 高 清 地 图 是 由 众多 的 点 云 拼接 而 成 ， 
其 主要 用 于 无 人 车 的 精准 定位 。 高 清 地 图 的 绘制 也 是 通过 LIDAR 完成 的 。 安 装 LIDAR 
的 地 图 数据 采集 车 在 想 要 绘制 高 清 地 图 的 路 线 上 多 次 反复 行驶 并 收集 点 云 数 据 。 后 期 会 经 
过 人 工 标注 , 首先 将 过 滤 一 些 点 云图 中 的 错误 信息 , 例如 由 路 上 行驶 的 汽车 和 行人 反射 所 
形成 的 点 ， 然 后 对 多 次 收集 到 的 点 云 进 行 对 齐 拼接 形成 最 终 的 高 清 地 图 。 外 外 


2.3.2 ”基于 点 云 的 定位 


首先 讲 讲 定位 的 重要 性 。 很 多 人 都 有 这 样 的 疑问 : 如 果 有 了 精准 的 GPS， 就 知道 了 
当前 的 位 置 ， 还 需要 定位 吗 ? 其 实 不 然 。 目 前 高 精度 的 军用 差分 GPS 在 静态 时 确实 可 以 
在 “理想 ”的 环境 下 达到 厘米 级 的 精度 。 这 里 的 “理想 ”环境 是 指 大 气 中 没有 过 多 的 基 浮 
介质 而 且 测 量 时 GPS 有 较 强 的 接收 信号 。 然 而 ， 无 人 车 是 在 复杂 的 动态 环境 中 行驶 ， 尤 
其 在 大 城市 中 ， 由 于 各 种 高 大 建筑 物 的 阻拦 。GPS 多 路 径 反 射 ( Multi-Path ) 的 问题 会 更 
明显 。 这 样 得 到 的 GPS 定位 信息 很 容易 就 有 几 十 厘米 甚至 几米 的 误差 。 对 于 在 有 限 宽 度 
上 高 速 行驶 的 汽车 ， 这 样 的 误差 很 有 可 能 导致 交通 事故 。 因 此 ， 必 须要 有 GPS 之 外 的 手 
段 增强 无 人 车 定位 的 精度 。 


上 面 提 到 过 ，LiDAR 会 在 车 辆 行驶 的 过 程 中 不 断 地 收集 点 云 来 了 解 周围 的 环境 。 我 
们 可 以 很 自然 地 想到 利用 这 些 观察 到 的 环境 信息 帮助 我 们 定位 四 中 由 四 司 。 可 以 把 这 个 问 
题 用 下 面 这 个 简化 的 概率 问题 表示 : 已 知 4 时刻 的 GPS 信息 ， 6 时刻 的 点 云 信息 ， 以 及 
无 人 车 ,时刻 可 能 在 的 三 个 位 置 Py, PURI P 这 里 为 了 简化 问题 ,假设 无 人 车 会 在 这 
三 个 位 置 中 的 某 一 个 )。 求 时 刻 车 在 这 三 点 的 概率 。 根 据 贝 叶 斯 法 则 ， 无 人 车 的 定位 问 
题 可 以 简化 为 下 面 这 个 概率 公式 : 





P(X,) ~ P(Z,X,) + P(X) 


右 侧 第 一 项 P(Z|X) 表 示 给 定 当前 位 置 ， 观 测 到 点 云 信息 的 概率 分 布 。 其 计算 方式 一 
般 分 为 局 部 估计 和 全 局 估计 两 种 。 局 部 估计 较 简单 的 做 法 就 是 通过 当前 时 刻 点 云 和 上 一 时 
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刻 点 云 的 匹配 , 借助 几何 上 的 推导 , 估计 出 无 人 车 在 当前 位 置 的 可 能 性 。 全 局 估计 就 是 利 
用 当前 时 刻 的 点 云 和 上 面 提 到 过 的 高 清 地 图 做 匹配 ,可 以 得 到 当前 车 相对 地 图 上 某 一 位 置 
的 可 能 性 。 在 实际 中 一 般 会 将 两 种 定位 方法 结合 使 用 。 第 二 项 P(X) 表 示 对 当前 位 置 的 预 
测 的 概率 分 布 ， 这 里 可 以 简单 地 用 GPS 给 出 的 位 置信 息 作为 预测 。 通 过 计算 P PaA Ps 
这 三 个 点 的 后 验 概率 , 可 以 估算 出 无 人 车 在 哪 一 个 位 置 的 可 能 性 最 高 。 通 过 对 两 个 概率 分 
布 相 乘 ， 可 以 很 大 程度 上 提高 无 人 车 定位 的 准确 度 ， 如 图 2-3 所 示 。 





à 


P(X,) 


P(Z |X,) 





图 2-3 基于 点 云 的 定位 
2.3.3 ”障碍 物 检测 


众所周知 , 在 机 器 视觉 中 一 个 比较 难 解 决 的 问题 就 是 判断 物体 的 远近 , 基于 单一 摄像 
头 抓 取 的 2D 图 像 无 法 得 到 准确 的 距离 信息 , 而 基于 多 摄像 头 生成 深度 图 的 方法 又 需要 很 
大 的 计算 量 , 不 能 很 好 地 满足 无 人 车 在 实时 性 上 的 要 求 。 另 一 个 坏 手 的 问题 是 光学 摄像 头 
受 光照 条 件 的 影响 巨大 。 物 体 的 识别 准确 度 很 不 稳定 。 图 2-4 所 示 为 由 于 光线 条 件 不 好 ， 
导致 图 像 特 征 匹 配 的 问题 ; 由 于 照相 机 曝光 不 充分 , 左 侧 图 中 的 特征 点 在 右 侧 图 中 没有 匹 
配 成 功 。 图 2-5 中 左 侧 图 展示 了 2D 物体 特征 匹配 成 功 的 例子 : 啤酒 瓶 的 模板 可 以 在 2D 
图 像 中 被 成 功 地 识别 出 来 ,但 是 如 果 将 镜头 拉 远 ， 如 图 2-5 中 右 图 所 示 , 则 只 能 识别 出 右 
侧 的 啤酒 瓶 是 附着 在 另 一 个 3D 物体 的 表面 而 已 。2D 的 物体 识别 由 于 维度 缺失 的 问题 很 
难 在 这 个 情境 下 做 出 正确 的 识别 。 
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图 2-4 上 暗 光 条 件 下 图 像 特征 匹配 的 挑战 





图 2-5 2D 图 像 识 别 中 存在 的 问题 
而 利用 LIDAR 生成 的 点 云 可 以 很 大 程度 上 解决 上 述 两 个 问题 ,借助 LIDAR 本 身 的 特 
性 可 以 对 反射 障碍 物 的 远近 、 高 低 , 甚至 是 表面 形状 有 较 准 确 的 估计 ， 从 而 大 大 提高 障 但 


物 检 测 的 准确 度 , 而 且 在 算法 的 复杂 度 上 低 于 基于 摄像 头 的 视觉 算法 , 因此 更 能 满足 无 人 
车 的 实时 性 需求 。 


2.4 LIDAR 技术 面临 的 挑战 


前 文 我 们 专注 于 LIDAR 对 无 人 驾驶 系统 的 帮助 , 但 是 在 实际 应 用 中 ，LiDAR 也 面临 
着 许多 挑战 。 要 想 把 无 人 车 系统 产品 化 ， 必 须 解决 这 些 问 题 。 本 节 讨 论 LIDAR 的 技术 挑 
战 、 计 算 性 能 挑战 ， 以 及 价格 挑战 。 

2.4.1 ”技术 挑战 ， 空 气 中 的 悬浮 物 


LIDAR 的 精度 也 会 受到 天 气 的 影响 。 空 气 中 悬浮 物 会 对 光速 产生 影响 。 大 雾 及 雨天 
都 会 影响 LIDAR 的 精度 。 测 试 环 境 为 小 雨 的 降雨 量 小 于 10mmh ， 中 雨 的 降雨 量 在 
10mm/h ~ 25mm/h， 如 图 2-6 所 示 。 
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目标 距离 20 米 目标 距离 20 米 
目标 反射 率 7% 目标 反射 率 7% 
目标 大 小 0.8 平 方 米 雨量 10mm/h 





图 2-6 “外 部 环境 对 LIDAR 测量 的 影响 


如 图 2-7 所 示 ， 这 里 使 用 了 A 和 B 两 个 来 自 不 同 制造 三 的 LiDAR， 可 以 看 到 随 着 实 
验 雨量 的 增 大 ,两 种 LIDAR 的 最 远 探测 距离 都 线性 下 降 。 雨 中 或 筋 中 的 传播 特性 最 近 几 
年 随 着 激光 技术 的 广泛 应 用 越 来 越 受 学 术 研 究 界 的 重视 。 研究 表明 , 十 和 雾 都 是 由 小 水 滴 
构成 的 ,雨滴 的 半径 直接 和 其 在 空中 的 分 布 密度 直接 决定 了 激光 在 传播 的 过 程 中 与 之 相 撞 
的 概率 。 相 撞 概率 越 高 ， 激 光 的 传播 速度 受到 的 影响 越 大 。 


Max. Detection Range (m] 





Rain Rate [mm/h] 


图 2-7 雨量 对 LiDAR 测量 影响 的 量化 
24.2 ”计算 性 能 的 挑战 : 计算 量 大 


如 表 2-1 所 示 ， 即 使 是 16 线 的 LIDAR 每 秒 钟 要 处 理 的 点 也 达到 了 30 万 个 。 如 此 大 
量 的 数据 处 理 是 无 人 车 定位 算法 和 障碍 物 检 查 算 法 的 实时 性 需要 面临 的 一 大 挑战 。 例 如 ， 
之 前 所 说 的 LIDAR 给 出 的 原始 数据 只 是 反射 物体 的 距离 信息 ， 需 要 对 所 有 的 产生 的 点 进 
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行 几何 变换 ,将 其 转化 为 位 置 坐标 ,这 其 中 至 少 涉 及 了 4 次 浮 点 运算 和 3 次 三 角 国 数 运算 ， 
而 且 点 云 在 后 期 的 处 理 中 还 有 大 量 坐标 系 转换 等 更 多 复杂 的 运算 ， 这 些 都 对 计算 资源 
(CPU, GPU 和 FPGA) 提出 了 很 大 的 需求 。 


# 2-1 不 同 LIDAR 的 每 秒 计算 量 比较 


2.4.3 成 本 的 挑战 : 造价 昂贵 


LIDAR 的 造价 也 是 要 考虑 的 重要 因素 之 一 。 上 面 提 到 的 Velodyne VLP-16 LIDAR È 
网 税 前 售 价 为 7999 美元 , 而 Velodyne HDL-64E LIDAR 预 售 价 也 在 10 万 美元 以 上 。 这 样 
的 成 本 要 加 在 本 来 就 没有 过 高 利润 的 汽车 价格 中 ， 无 疑 会 大 大 阻碍 无 人 车 的 商业 化 。 















每 秒 产 生 点 数 
2,200,000 
700,000 
300,000 










Velodyne HDL-64E 
Velodyne HDL-32E 
Velodyne VLP-16 






2.5 ”展望 未 来 


尽管 无 人 驾驶 技术 渐 趋 成 熟 , 但 LIDAR 始终 是 一 个 绕 不 过 去 的 技术 。 纯 视觉 与 
GPS/IMU 的 定位 及 如 障 方案 价格 虽然 低 ， 却 还 不 成 熟 ， 很 难 应 用 到 室外 场景 中 。 同 时 ， 
LIDAR 的 价格 高 居 不 下 ， 消 费 者 很 难 承受 动 轻 几 十 万 美元 定价 的 无 人 车 。 因 此 ， 当 务 之 
急 就 是 快速 把 系统 成 本 特别 是 LIDAR 的 成 本 大 幅 降低 。 其 中 一 个 较 有 希望 的 方法 是 使 用 
较 低 价 的 LIDAR, 虽然 会 损失 一 些 精确 度 , 但 可 以 使 用 其 他 低 价 传感器 与 LiDAR 做 信息 
混合 , 较 精准 地 推算 出 车 辆 的 位 置 ,换言之 ,就 是 通过 更 好 的 算法 弥补 硬件 传感器 的 不 足 ， 
我 们 相信 这 是 无 人 车 近期 的 发 展 方向 ， 而 高 精度 LiDAR 的 价格 由 于 市 场 需求 大 增 将 会 在 
未 来 的 一 两 年 内 出 现 降 幅 ， 为 无 人 车 的 进一步 普及 铺路 。 
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GPS 及 惯性 传 感 需 在 无 
驾驶 中 的 应 用 


本 章 着 重 介绍 全 球 定位 系统 及 惯性 传感器 在 无 人 驾驶 中 的 应 用 。GPS 是 当前 行车 定 
位 不 可 或 缺 的 技术 ,但 是 由 于 GPS 的 误差 、 多 路 径 ， 以 及 更 新 频率 低 等 问题 我们 不 可 
以 只 依赖 于 GPS 进行 定位 。 相 反 ， 惯性 传感器 拥有 很 高 的 更 新 频率 ， 可 以 跟 GPS 形成 很 
好 的 互补 。 使 用 传感器 融合 技术 ， 可 以 融合 GPS 与 惯性 传感器 数据 ， 各 取 所 长 ， 以 达到 


3.1 无 人 驾驶 定位 技术 


行车 定位 是 无 人 鸭 驶 最 核心 的 技术 之 一 ，GPS 是 当前 行车 定位 不 可 或 缺 的 技术 ， 在 
无 人 轰 驶 定位 中 也 担负 起 相当 重要 的 职责 。 然 而 无 人 车 是 在 复杂 的 动态 环境 中 行驶 , 尤其 
在 大 城市 中 ，GPS 多 路 径 反 射 的 问题 会 更 加 明显 ， 这 样 得 到 的 GPS 定位 信息 很 容易 就 有 
几米 的 误差 。 对 于 在 有 限 宽度 上 高 速 行驶 的 汽车 , 这 样 的 误差 很 有 可 能 导致 交通 事故 。 因 
此 ,必须 借助 其 他 传感器 辅助 定位 ,增强 定位 的 精度 。 另外 , 由 于 GPS 的 更 新 频率 低 10 Hz), 
在 车 辆 快速 行驶 时 很 难 给 出 精准 的 实时 定位 。 惯 性 传感器 ( IMU ) 主要 是 检测 和 测量 加 于 
度 与 旋转 运动 的 高 频 ( 1kHz ) 传感器 ， 对 惯性 传感器 数据 进行 处 理 后 我 们 可 以 实时 得 出 
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车 辆 的 位 移 与 转动 信息 , 但 是 惯性 传感器 自身 也 有 偏差 与 噪声 等 问题 影响 结果 。 通过 使 用 
基于 卡尔 曼 滤波 的 传感器 融合 技术 ,我 们 可 以 融合 GPS 与 惯性 传感器 数据 ， 各 取 所 长 ， 
以 达到 较 好 的 定位 效果 。 注 意 ， 由 于 无 人 鸭 驶 对 可 靠 性 和 安全 性 要 求 非常 高 ， 所 以 基于 
GPS 及 惯性 传感器 的 定位 并 非 无 人 驾驶 里 唯一 的 定位 方式 ,还 可 以 使 用 LiDAR 点 云 与 高 
精 地 图 匹配 , 以 及 视觉 里 程 计 算法 等 定位 方法 , 让 各 种 定位 法 互相 纠正 以 达到 更 精准 的 定 
位 。 


3.2 GPS 简介 


GPS 是 当前 行车 定位 不 可 或 缺 的 技术 ， 在 无 人 轰 驶 定位 中 也 担负 起 相当 重要 的 职责 。 铝 
GPS 系统 包括 太空 中 的 32 Bi GPS 卫星 ; 地 面 上 1 个 主 控 站 、3 个 数据 注入 站 和 5 个 监测 
站 及 作为 用 户 端的 GPS 接收 机 。 最 少 只 需 其 中 3 颗 卫 星 ， 就 能 迅速 确定 用 户 端 在 地 球 上 
所 处 的 位 置 及 海拔 高 度 。 现 在 ， 民 用 GPS 也 可 以 达到 十 米 左右 的 定位 精度 。 当 前 的 GPS 
系统 使 用 低频 信号 ， 纵 使 天 气 不 佳 仍 能 让 信号 保持 相当 的 穿 透 性 。 本 节 介 绍 GPS 的 运作 
原理 及 这 个 技术 的 缺陷 。 

3.2.1 三 边 测量 法 定位 

如 图 3-1 所 示 ，GPS 定位 系统 是 利用 卫星 基本 三 角 定 位 原理 ，GPS 接收 装置 以 量 测 
无 线 电 信号 的 传输 时 间 来 量 测 距离 。 由 每 颗 卫 星 的 所 在 位 置 , 测量 每 颗 卫 星 至 接收 器 间距 
离 ， 便 可 以 算出 接收 器 所 在 位 置 之 三 维 空间 坐标 值 。 使 用 者 只 要 利用 接收 装置 接收 到 3 
个 卫星 信号 ， 就 可 以 定 出 使 用 者 所 在 之 位 置 。 在 实际 应 用 中 ，GPS 接收 装置 都 是 利用 4 
个 以 上 卫星 信号 来 定 出 使 用 者 所 在 之 位 置 及 高 度 。 三 角 定 位 的 工作 原理 如 下 。 
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FA 3-1 GPS 三 边 测量 法 定位 原理 
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( 1) 假设 测 量 得 出 第 一 颗 卫 星 距离 我 们 18000 FK, 那么 可 以 把 当前 位 置 范围 限定 在 
距离 第 一 颗 卫 星 18000 和 干 米 半径 的 地 球 表 面 上 的 任意 位 置 。 


(2 ) 假 设 测 量 到 第 二 颗 卫星 的 距离 为 20000 干 米 , 那么 可 以 进一步 把 当前 位 置 范围 限 
定 在 距离 第 一 颗 卫 星 18000 干 米 及 距离 第 二 颗 卫 星 20000 干 米 的 交叉 的 区 域 。 


(3) 再 对 第 三 颗 卫星 进行 测量 , 通过 3 颗 卫 星 的 距离 交汇 点 定位 出 当前 的 位 置 。 通 
常 ，GPS 接收 器 会 使 用 第 四 颗 卫星 的 位 置 对 前 3 颗 卫 星 的 位 置 测量 进行 确认 已 达到 更 
好 的 效果 。 


3.2.2 ”距离 测量 与 精准 时 间 戳 


理论 上 , 距离 测量 是 个 简单 的 过 程 , 我 们 只 需要 用 光速 乘 以 信号 传播 时 间 便 可 以 得 到 
距离 信息 。 但 问题 是 测量 的 传播 时 间 但 凡 有 一 点 误差 ,都 会 造成 距离 上 巨大 的 误差 。 我 们 
日 常 使 用 的 时 钟 是 存在 一 定 误 差 的 , 如 果 使 用 石英 钟 对 传播 时 间 进 行 测量 , 那么 基于 GPS 
的 定位 会 有 很 大 误差 。 为 了 解决 这 个 问题 , 每 颗 卫 星 上 都 安装 了 原子 钟 以 达到 纳米 级 的 精 
度 。 为 了 使 卫星 定位 系统 使 用 同步 时 钟 , 需要 在 所 有 卫星 及 接收 机 上 都 安装 原子 钟 。 原子 
钟 的 价格 在 几 万 美元 ， 要 让 每 一 个 GPS 接收 器 安装 原子 钟 是 不 现实 的 。 为 了 解决 这 一 难 
题 ,每 一 颗 卫星 上 仍然 使 用 昂贵 的 原子 钟 ,但 接收 机 使 用 的 是 经 常 需 要 调 校 的 普通 石英 钟 : 
接收 机 接收 来 自 四 颗 或 更 多 卫星 的 信号 并 计算 自身 的 误差 ,因此 接收 机 就 可 以 将 自身 的 时 
钟 调 整 到 统一 时 间 值 。 


3.2.3 3:453 GPS 








如 上 所 述 , 卫星 距离 测量 存在 着 卫星 钟 误差 与 播 延 迟 导 致 的 误差 等 问题 。 利 用 差分 技 
AR, 我 们 可 以 消除 或 者 降低 这 些 误差 ， 让 GPS 达到 更 高 的 精度 。 差 分 GPS 的 运作 原理 十 
分 简单 ， 如 图 3-2 所 示 ， 首 先 ， 如 果 两 个 GPS 接收 机 的 距离 非常 接近 ， 那 么 两 者 接收 的 
GPS 信号 将 通过 几乎 同一 块 大 气 区 域 ， 所 以 二 者 的 信号 将 具有 非常 近似 的 误差 。 如 果 能 
精确 地 计算 出 第 一 个 接收 机 的 误差 ,那么 我 们 可 以 利用 该 计算 误差 对 第 二 个 接收 机 的 结果 
进行 修正 。 
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图 3-2 差分 GPS 定位 原理 
如 何 精 确 地 计算 出 第 一 个 接收 机 的 误差 呢 ? 可 以 在 已 知 精准 的 地 点 安置 参考 接收 机 





基准 站 ， 安 装 在 基准 站 上 的 GPS 接收 机 观测 4 颗 卫 星 后 便 可 进行 三 维 定位 ， 计 算出 基准 
站 的 测量 坐标 。 然后, 将 测量 坐标 与 已 知 坐标 进行 对 比 可 以 计算 出 误差 。 基 准 站 再 把 误差 
值 发 送 给 方圆 100 干 米内 的 差分 GPS 接收 器 去 纠正 它们 的 测量 数据 。 


3.2.4 多 路 径 问 题 


如 图 3-3 所 示 ， 多 路 径 问 题 是 指 由 于 GPS 信号 的 反射 与 折射 造成 的 信号 传播 时 间 的 
误差 ， 从 而 导致 定位 的 错误 外。 特别 是 在 城市 环境 中 ， 空 气 中 有 许多 悬浮 介质 对 GPS fü 
号 反射 与 折射 , 男 外 ,信号 也 会 在 高 楼 大 厦 的 外 墙 发 生 反 射 与 折射 ,造成 距离 测量 的 混乱 。 
目前 ， 高 精度 的 军用 差分 GPS 在 静态 的 时 候 确实 可 以 在 “理想 ”的 环境 下 达到 厘米 级 的 
精度 。 这 里 的 “理想 ”环境 是 指 大气 中 没有 过 多 的 悬 祥 介质 而 且 测 量 时 GPS 有 较 强 的 接 
收 信号 。 然 而 ， 无 人 车 是 在 复杂 的 动态 环境 中 行驶 的 ， 尤 其 在 大 城市 中 ，GPS 多 路 径 反 
射 的 问题 会 更 明显 。 这 样 得 到 的 GPS 定位 信息 很 容易 就 有 几米 的 误差 。 对 于 在 有 限 宽度 
上 高 速 行驶 的 汽车 ， 这 样 的 误差 很 有 可 能 会 导致 交通 事故 。 


即使 有 各 种 问题 ，GPS 还 是 一 个 相对 精准 的 传感器 ， 而 且 GPS 的 误差 不 会 随 着 时 间 
的 推进 而 增加 。 但 是 GPS 有 一 个 更 新 频率 低 的 问题 ,大 概 在 10Hz。 由 于 无 人 车 行驶 速度 
快 , 我 们 需要 实时 的 精准 定位 以 确保 无 人 车 的 安全 。 因此 我 们 必须 借助 其 他 的 传感器 来 辅 
助 定位 ， 增 强 定位 的 精度 。 
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图 3-3 GPS 中 存在 的 多 路 径 问 题 示意 


3.3 ”惯性 传感器 简介 


惯性 传感器 (IMU ) 主要 是 检测 和 测量 加 速度 与 旋转 运动 的 传感器 。 基 础 的 惯性 传 感 
器 包括 加 速度 计 与 角速度 计 。 本 节 主 要 讨论 基于 MEMS 的 六 轴 惯 性 传感器 ， 主 要 由 三 个 
轴 加 速度 传感器 及 三 个 轴 的 陀螺 仪 组 成 。B 


MEMS 惯性 传感器 分 为 三 个 级 别 ， 低 精度 惯性 传感器 作为 消费 电子 类 产品 主要 用 在 
智能 手机 ， 此 类 传感器 售 价 在 50 美 分 到 几 美 元 不 等 ， 测 量 的 误差 会 比较 大 。 中 级 惯性 传 
感 器 主要 用 于 汽车 电子 稳定 系统 及 GPS 辅助 导航 系统 ， 此 类 传感器 售 价 在 儿 百 到 上 干 美 
元 , 相对 于 低 端 惯性 传感器 , 中 级 惯性 传感器 在 控制 芯片 中 对 测量 误差 有 一 定 的 修正 , 所 
以 测量 结果 更 准确 。 但 是 长 时 间 运 行 后 , 累计 的 误差 会 越 来 越 大 。 高 精度 的 惯性 传感器 作 
为 军用 级 和 宇航 级 产品 , 主要 要 求 高 精度 、 全 温 区 、 抗 冲击 等 指数 ,主要 用 于 通信 卫星 无 
线 、 导 弹 导 引 头 、 光 学 瞄准 系统 等 稳定 性 应 用 。 此 类 传感器 售 价 在 几 十 万 美元 ,即便 经 过 
长 时 间 运 行 后 ， 比 如 跨 太平 洋 洲际 导弹 ， 仍 然 可 以 达到 米 级 精度 。 


无 人 车 使 用 的 一 般 是 中 低级 的 惯性 传感器 ， 其 特点 是 更 新 频率 高 ( 1kHz )， 可 以 提供 
实时 位 置信 息 。 惯性 传感器 的 致命 缺点 是 它 的 误差 会 随 着 时 间 的 推进 而 增加 , 所 以 我 们 只 
能 在 很 短 的 时 间 内 依赖 惯性 传感器 进行 定位 。 


3.3.1 加 速度 计 
图 3-4 所 示 为 MEMS 加 速度 计 ， 它 的 工作 原理 就 是 靠 MEMS 中 可 移动 部 分 的 惯性 。 
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由 于 中 间 电 容 板 的 质量 很 大 , 而 且 它 是 一 种 悬臂 构造 , 当 速 度 变 化 或 者 加 速度 达到 足够 大 
时 , 它 所 受到 的 惯性 力 超 过 固定 或 者 支撑 它 的 力 , 这 时 它 会 移动 , 它 跟 上 下 电容 板 之 间 的 
距离 就 会 变化 ,上 下 电容 就 会 因此 变化 ,电容 的 变化 与 加 速度 成 正比 。 根 据 不 同 测量 范围 ， 
中 间 电 容 板 悬 臂 构 造 的 强度 或 者 弹性 系数 可 以 设计 得 不 同 。 另 外 , 如 果 要 测量 不 同方 向 的 
加 速度 ， 这 个 MEMS 的 结构 会 有 很 大 的 不 同 。 电 容 的 变化 会 被 另外 一 块 专用 芯片 转化 成 
电压 信号 , 有 时 还 会 把 这 个 电压 信号 放大 。 电 压 信号 在 数字 化 后 经 过 一 个 数字 信号 处 理 过 
程 ， 在 零点 和 灵敏 度 校正 后 输出 。 





图 3-4 加 速度 计 结 构图 
3.3.2 ARE 


图 3-5 所 示 为 MEMS 陀螺 仪 角 速度 计 (MEMS gyroscope )， 其 工作 原理 主要 是 利用 
角 动 量 守恒 原理 , 因此 它 主 要 是 一 个 不 停 转动 的 物体 , 它 的 转轴 指向 不 随 承 载 它 的 支架 的 
旋转 而 变化 。 与 加 速度 计 工作 原理 相似 , 陀螺 仪 的 上 层 活 动 金 属 与 下 层 金属 形成 电容 。 当 
陀螺 仪 转动 时 , 它 与 下 面 电 容 板 之 间 的 距离 就 会 变化 ,上 下 电容 也 就 会 因此 变化 。 电容 的 
变化 跟 角 速度 成 正比 ， 由 此 我 们 可 以 测量 当前 的 角速度 。 








图 3-5 角速度 计 示意 图 
3.8.8 ”惯性 传感器 的 问题 
由 于 制作 工艺 的 原因 , 惯性 传感器 测量 的 数据 通常 都 会 有 一 定 误 差 。 第 一 种 误差 是 偏 
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移 误 差 , 也 就 是 陀螺 仪 和 加 速度 计 即 使 在 没有 旋转 或 加 速 的 情况 下 也 会 有 非 零 的 数据 输出 。 
要 想得到 位 移 数据 , 我 们 需要 对 加 速度 计 的 输出 进行 两 次 积分 。 在 两 次 积分 后 , 即使 很 小 
的 偏 移 误差 也 会 被 放大 ， 随 着 时 间 的 推进 ， 这 样 的 偏 移 误差 造成 的 位 移 误差 会 不 断 积 累 ， 
最 终 导致 没 法 再 跟踪 无 人 车 的 位 置 。 第 二 种 误差 是 比例 误差 , 是 指 所 测量 的 输出 和 被 检测 
输入 的 变化 之 间 的 比率 。 与 偏 移 误差 相似 , 在 两 次 积分 后 ， 随 着 时 间 的 推进 ， 其 造成 的 位 
移 误 差 会 不 断 积累 。 第 三 种 误差 是 背景 白 噪声 ,如 果 不 给 予 纠正 ,也 会 导致 我 们 没 法 再 跟 
踪 无 人 车 的 位 置 。 

为 了 纠正 这 些 误差 , 我 们 必须 对 惯性 传感器 进行 校准 , 找 出 偏 移 误差 和 比例 误差 , PA 
后 使 用 校准 参数 对 惯性 传感器 原 数 据 进行 修正 。 但 复杂 的 是 惯性 传感器 的 误差 也 会 随 着 温 
度 变 化 而 变化 ,所 以 即使 我 们 校准 得 再 好 , 随 着 时 间 的 推进 ,位 移 的 误差 还 是 会 不 断 积累 ， 
所 以 我 们 很 难 单独 使 用 惯性 传感器 对 无 人 车 进行 定位 。 


3.4 GPS 和 惯性 传感器 的 融合 


如 上 所 述 ， 纵 使 有 多 路 径 等 问题 ，GPS 是 个 相对 精准 的 定位 传感器 ， 但 是 GPS 的 更 
新 频率 低 ， 并 不 能 满足 实时 计算 的 要 求 。 而 惯性 传感器 的 定位 误差 会 随 着 运行 时 间 增 长 ， 
但 是 由 于 惯性 传感器 是 高 频传 感 器 , 在 短 时 间 内 可 以 提供 稳定 的 实时 位 置 更 新 。 所 以 , 只 
要 我 们 找到 一 个 方法 能 融合 这 两 种 传感器 的 优点 , 各 取 所 长 , 就 可 以 得 到 比较 实时 与 精准 
的 定位 。 本 节 介绍 如 何 使 用 卡尔 曼 滤 波 器 融合 这 两 种 传感器 数据 。 


3.4.1 卡尔 曼 滤 波 器 简介 


卡尔 曼 滤波 器 可 以 从 一 组 有 限 的 、 包 含 噪声 的 、 通 过 对 物体 位 置 的 观察 序列 预测 出 物 
体 的 位 置 的 坐标 及 速度 。 卡 尔 曼 滤波 器 具有 很 强 的 鲁 棒 性 ,即使 对 物体 位 置 的 观测 有 误差 ， 
根据 物体 历史 状态 与 当前 对 位 置 的 观测 , 我 们 可 以 较 准 确 地 推算 出 物体 的 位 置 。 卡尔 曼 滤 
波 器 运行 时 主要 分 两 个 阶段 :预测 阶段 基于 上 个 时 间 点 的 位 置信 息 去 预测 当前 的 位 置信 息 ; 
更 新 阶段 通过 当前 对 物体 位 置 的 观测 去 纠正 位 置 预测 ， 从 而 更 新 物体 的 位 置 。 

举 个 具体 例子 , 假设 你 家 停电 没有 任何 灯光 , 你 想 从 你 家 客厅 走 回 中 室 。 你 十 分 清楚 
客厅 与 卧室 的 相对 位 置 ， 于 是 你 在 黑暗 中 行走 ， 并 试图 通过 计算 步 数 预 测 你 的 当前 位 置 。 
走 到 一 半 时 ， 你 摸 到 了 电视 机 。 由 于 你 事先 知道 电视 机 在 客厅 的 大 致 位 置 , 于 是 可 以 通过 
你 印象 中 电视 机 的 位 置 更 正 你 对 当前 位 置 的 预测 ,然后 在 这 个 调整 过 的 更 准确 的 位 置 估计 
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的 基础 上 继续 依靠 计算 步 数 向 卧室 前 行 。 通 过 摸黑 前 行 , 你 依靠 计算 步 数 与 触摸 物体 最 终 
从 客厅 走 回 了 卧室 ， 其 背后 的 道理 就 是 卡尔 曼 滤 波 器 的 核心 。 


3.4.2 ”多 传感器 融合 


如 图 3-6 所 示 ， 使 用 卡尔 曼 滤 波 器 对 惯性 传感器 与 GPS 数据 进 性 融合 与 上 面 给 出 的 
例子 很 相似 外 外 四。 这 里 的 惯性 传感器 相当 于 数 步 数 , 而 GPS 数据 相当 于 电视 等 参照 物 的 
位 置 。 首先, 我 们 在 上 一 次 的 位 置 估算 的 基础 上 使 用 惯性 传感器 对 当前 的 位 置 进 行 实 时 预 
测 。 在 得 到 新 的 GPS 数据 之 前 ， 我 们 只 能 通过 积分 惯性 传感器 的 数据 预测 当前 位 置 。 惯 
性 传感器 的 定位 误差 会 随 着 运行 时 间 增长 ， 所 以 当 接收 到 新 的 GPS 数据 时 ， 由 于 GPS 的 
数据 比较 精准 ， 我 们 可 以 使 用 GPS 数据 对 当前 的 位 置 预测 进行 更 新 。 通 过 不 断 地 执行 这 
两 个 步骤 , 我 们 可 以 取 两 者 所 长 , 对 无 人 车 进行 准确 的 实时 定位 。 假 设 惯性 传感器 的 频率 
是 IkHz, ifj GPS 的 频率 是 10Hz， 那 么 每 两 次 GPS 更 新 之 间 会 使 用 100 个 惯性 传感器 数 
据点 进行 位 置 预测 。 
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图 3-6 GPS 5 IMU 的 传感器 融合 定位 示意 
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本 章 介绍 了 在 无 人 驾驶 场景 中 如 何 使 用 GPS 与 惯性 传感器 对 车 辆 进行 精准 定位 。 这 
个 系统 包含 了 三 个 部 分 : 第 一 ， 相 对 精准 但 是 低频 更 新 的 GPS; 第 二 ， 高 频 更 新 但 是 精 
度 随 着 时 间 流 逝 而 越发 不 稳定 的 惯性 传感器 ; 第 三 , 上 述 两 种 传感器 基于 卡尔 曼 滤 波 器 数 
学 模型 的 融合 。 由 于 无 人 驾驶 对 可 靠 性 和 安全 性 的 要 求 非常 高 ， 所 以 除 GPS 与 惯性 传 感 
器 外 ， 通 常 还 会 使 用 LiDAR 点 云 与 高 精 地 图 匹配 ， 以 及 视觉 里 程 计 算法 等 定位 方法 ， 让 
各 种 定位 法 互相 纠正 以 达到 更 精准 的 定位 。 
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本 章 着 重 介绍 基于 计算 机 视觉 的 无 人 驾驶 感知 系统 。 在 现 有 的 无 人 贺 驶 系统 中 ， 
LiDAR 是 当仁不让 的 感知 主角 , 但 是 由 于 LiDAR 的 成 本 高 等 因素 , 业界 有 许多 讨论 是 否 
可 以 使 用 成 本 相对 较 低 的 摄像 头 去 承担 更 多 的 感知 任务 。 本 章 会 探索 基于 视觉 的 无 人 驾驶 
感知 方案 。 AFC, 要 验证 一 个 方案 是 否 可 行 , 我 们 需要 一 个 标准 的 测试 方法 : 被 广泛 使 用 
的 无 人 驾驶 视觉 感知 数据 集 KITTI。 然后 , 会 讨论 计算 机 视觉 在 无 人 车 场景 中 使 用 到 的 具 
体 技术 ， 包括 Optical Flow 和 立体 视觉 、 物 体 的 识别 和 跟踪 ， 以 及 视觉 里 程 计 算法 。 


4.1 无 人 驾驶 的 感知 


TAB REAL, 感知 是 最 基础 的 部 分 , 没有 对 车 辆 周围 三 维 环境 的 定量 感知 , 就 

有 如 和 人 没有 了 了 眼 哺 , 无 人 驾驶 的 决策 系统 就 无 法 正常 工作 。 为 了 安全 与 准确 地 感知 , 无 人 

车 Sareren FER PTA SRI "UU" AEA, ERK 

vd . LIDAR, 以 及 摄像 头 。 RAFT BCE IS HT BQ RE ASS ER EE BP SE 
ik. BOR 大 和 毫米 波 雷 达 则 主要 承担 了 中 长 距 测 距 和 环境 感知 的 功能 。 


其 中 , 激光 雷达 在 测量 精度 和 速度 上 表现 得 更 出 色 , 是 厘米 级 的 高 精度 定位 中 不 可 或 
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缺 的 部 分 ， 但 是 其 制造 成 本 极其 昂贵 ， 并 且 其 精度 易 受 空气 中 悬 序 物 的 干扰 。 相 较 而 言 ， 
毫米 波 雷 达 则 更 能 适应 较 恶 劣 的 天 气 , 抗 悬 秀 物 干 扰 性 强 , 但 是 仍 需 防止 其 他 通信 设备 和 
雷达 之 间 的 电磁 波 干扰 .可见 光 的 摄像 头 视觉 数据 分 析 与 处 理 基于 发 展 已 久 的 传统 计算 机 
视觉 领域 , 其 通过 摄像 头 采 集 到 的 二 维 图 像 信息 推断 三 维 世界 的 物理 信息 , 现 通常 应 用 于 
交通 信号 灯 识别 和 其 他 物体 识别 。 那 么 最 常见 的 、 成 本 相对 低廉 的 摄像 头 解决 方案 能 否 在 
无 人 驾驶 应 用 中 承担 更 多 的 感知 任务 呢 ? 


4.2 KITTI 数据 集 


KITTI 数据 集 是 由 KIT 和 TTIC 在 2012 年 开始 的 一 个 合作 项 目 ， 网 站 为 http://www. 
cvlibs.net/datasets/kitti/， 这 个 项 目的 主要 目的 是 建立 一 个 具有 挑战 性 的 ， 来 自 真实 世界 的 
测试 集 巴 白马 负 。 如 图 4-1 所 示 ， 他 们 使 用 的 数据 采集 车 配备 了 如 下 设备 。 


一 对 140 万 像素 的 彩色 摄像 头 ,Point Grey Flea 2 (FL2-14S3C-C),10Hz 采集 频率 。 
一 对 140 万 像素 的 黑白 摄像 头 ,Point Grey Flea 2 (FL2-14S3M-C), 10Hz 采集 频率 。 
一 个 激光 雷达 ，Velodyne HDL-64E。 

一 个 GPS/IMU 定位 系统 ，OXTS RT 3003。 
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图 4-1 装载 各 种 传感器 的 数据 采集 车 


这 辆 车 在 卡尔 斯 鲁 厄 的 高 速 和 城区 的 多 种 交通 环境 下 收集 了 数据 ,用 激光 雷达 提供 的 
数据 作为 ground truth， 建 立 了 面向 多 个 测试 任务 的 数据 集 。 


( 1 ) Stereo/Optical Flow Ades: 数据 集 由 图 片 对 组 成 。 一 个 Stereo 图 片 对 是 两 个 摄 
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像 头 在 不 同 的 位 置 同时 拍摄 的 ,Optical Flow 图 片 对 是 同一 个 摄像 头 在 相 邻 时 间 点 拍摄 的 。 
训练 数据 集 有 194 对 ， 测 试 数 据 集 有 195 对 ， 大 约 50% 的 像素 有 确定 的 偏 移 量 数据 ， 如 
图 4-2 所 示 。 





图 4-2 stereo/optical flow 数据 集 示 意图 


(2) 视觉 里 程 测量 数据 集 : 数据 集 由 22 个 Stereo 图 片 对 序列 组 成 ， 一 个 4 万 多 帧 ， 
Ais 392 公里 的 里 程 ， 如 图 4-3 所 示 。 





图 4-3 视觉 里 程 测量 数据 集 示意 图 
(3) 三 维 物体 检测 数据 集 : 手工 标注 ,包含 轿车 、 厅 车、 卡车、 行人 、 自 行车 者 、 电 
车 等 类 别 , 用 三 维 框 标注 物体 的 大 小 和 朝向 ， 有 多 种 遮挡 情况 , 并 且 一 张 图 片 通常 有 多 个 
物体 实例 ， 如 图 4-4 所 示 。 


ENERO 


Excel Lex i r-— 
图 4-4 三 维 物 体检 测 数据 集 示意 图 
(4) 物体 追踪 数据 集 : 手工 标注 ,包含 21 个 训练 序列 和 29 个 测试 序列 ,主要 追踪 的 
目标 类 型 是 行人 和 轿车 ， 如 图 4-5 所 示 。 





图 4-5 物体 追踪 数据 集 示 意图 


(5 ) 路 面 和 车 道 检测 数据 集 : 手工 标注 ,包含 未 标明 车 道 、 标 明 双 向 单车 道 和 标明 双 
向 多 车 道 三 种 情况 ,289 张 训练 图 片 和 290 张 测 试图 片 ,ground truth 包括 路 面 ( 所 有 车 道 ) 
和 上 自 车 道 ， 如 图 4-6 Ara. 
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KITTI 数据 集 与 以 往 计算 机 视觉 领域 的 数据 集 相 比 有 以 下 特点 。 


e 由 无 人 车 上 常见 的 多 种 传感器 收集 , 用 LIDAR 提供 高 精度 的 三 维 空间 数据 ， 有 较 
好 的 ground truth。 

。 更 接近 实际 情况 ， 而 不 是 用 计算 机 图 形 学 技术 生成 的 。 

。 履 盖 了 计算 机 视觉 在 无 人 车 轰 驶 上 应 用 的 多 个 方面 。 


由 于 这 些 特点 , 越 来 越 多 的 研究 工作 基于 这 个 数据 集 , 一 个 新 的 算法 在 这 个 数据 集 上 
的 测试 结果 有 较 高 的 可 信和 度 。 


4.3 ”计算 机 视觉 能 帮助 元 人 车 解决 的 问题 


计算 机 视觉 在 无 人 车 上 的 使 用 有 一 些 比较 直观 的 例子 ,比如 交通 标志 和 信号 灯 的 识别 
(谷歌 ); 高 速 公路 车 道 的 检测 定位 CREE), HUE, 基于 LIDAR 信息 实现 的 一 些 功 能 模 
块 其 实 也 可 以 用 摄像 头 基 于 计算 机 视觉 来 实现 ,下 面 介绍 计 算 机 视觉 在 无 人 车 驾驶 上 的 几 
个 应 用 前 景 。 当 然 , 这 只 是 计算 机 视觉 在 无 人 车 上 的 部 分 应 用 , 随 着 技术 的 发 展 , 越 来 越 
多 的 基于 摄像 头 的 算法 会 让 无 人 车 的 感知 更 准确 、 更 快速 、 更 全 面 。 


计算 机 视觉 在 无 人 车 场景 中 解决 的 最 主要 问题 可 以 分 为 两 大 类 : 物体 的 识别 与 跟踪 ， 
以 及 车 辆 本 身 的 定位 。 物 体 的 识别 与 跟踪 : 通过 深度 学 习 的 方法 , 无 人 车 可 以 识别 在 行驶 
途中 遇 到 的 物体 , 比如 行人 、 空旷 的 行驶 空间 、 地 上 的 标志 、 红绿灯 , 以 及 旁边 的 车 辆 等 。 
由 于 行人 及 劳 边 的 车 辆 等 物体 都 是 在 运动 的 ,我 们 需要 跟踪 这 些 物 体 以 达到 防止 碰撞 的 目 
的 ， 这 就 会 涉及 Optical Flow 等 运动 预测 的 算法 。 车 辆 本 身 的 定位 : 通过 基于 拓扑 与 地 标 
的 算法 , 或 者 是 基于 几何 的 视觉 里 程 计 算法 , 无 人 车 可 以 实时 确定 本 身 的 位 置 , 以 满足 自 
主导 航 的 需求 。 
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4.4 Optical Flow 和 立体 视觉 


物体 的 识别 与 跟踪 , 以 及 车 辆 本 身 的 定位 都 离 不 开 底 层 的 Optical Flow 与 立体 视觉 技 
术 。 在 计算 机 视觉 领域 ，Optical Flow 是 图 片 序列 或 者 视频 中 像素 级 的 密集 对 应 关系 ， 例 
如 在 每 个 像素 上 估算 一 个 二 维 的 偏 移 矢 量 ， 得 到 的 Optical Flow 以 二 维 的 矢量 场 表示 加 。 
立体 视觉 则 是 从 两 个 或 更 多 的 视角 得 到 的 图 像 中 建立 对 应 关系 。 这 两 个 问题 有 高 度 的 相关 
性 , 一 个 是 基于 单个 摄像 头 在 连续 时 刻 的 图 像 , 另 一 个 是 基于 多 个 摄像 头 在 同一 时 刻 的 图 
片 。 解 决 这 类 问题 时 有 两 个 基本 假设 。 


© 不 同 图 像 中 的 对 应 点 都 来 自 物理 世界 中 同一 点 的 成 像 ， 所 以 “外 观 ” 相 似 。 

© 不 同 图 像 中 的 对 应 点 集合 的 空间 变换 基本 满足 刚体 条 件 ， 或 者 说 空间 上 分 割 为 多 
个 刚体 的 运动 。 从 这 个 假设 我 们 自然 得 到 Optical Flow 的 二 维 矢量 场 是 片 状 平滑 
的 结论 。 


2016 年 6 H, 美国 拉 斯 维 加 斯 召开 的 CVRP 大 会 上 ，Urtasun 教授 和 她 的 学 生 改 进 了 
深度 学 习 中 的 Siamese 网 络 ,， 用 一 个 内 积 层 代替 了 拼接 层 , 把 处 理 一 对 图 片 的 时 间 从 一 分 
钟 左右 降低 到 不 到 一 秒 。 


如 图 4-7 所 示 ， 这 个 Siamese 结构 的 深度 神经 网 络 分 左右 两 部 分 ， 分 别 是 一 个 多 层 的 
卷 积 神经 网 络 和 两 个 卷 积 神经 网 络 共 享 网 络 权重 。Optical Flow 的 偏 移 矢量 估计 问题 转化 
为 一 个 分 类 问题 ， 输 入 是 两 个 9x9 的 图 片 块 ， 输 出 是 128 或 者 256 个 可 能 的 偏 移 矢量 yo 
通过 从 已 知 偏 移 矢 量 的 图 片 对 中 抽取 的 图 片 块 输入 到 左右 两 个 卷 积 神经 网 络 ,然后 最 小 化 
cross-entropy ( 如 下 面 公式 所 示 )。 
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4-] Siamese 结构 的 深度 神经 网 络 分 层 示 意 


我 们 可 以 用 监督 学 习 的 方法 训练 整个 神经 网 络 。 


。 i 是 像素 的 指标 。 

© yi 是 像素 i 可 能 的 偏 移 矢量 。 

© pot 是 一 个 平滑 过 的 目标 分 布 ,用 来 给 一 两 个 像素 的 预 估 误差 反馈 一 个 非 0 的 概率 ， 

gt 表示 ground truth, 

a pi(yww) 是 神经 网 络 输 出 的 给 定 w 时 y; 的 概率 。 

在 KITTI 的 stereo 2012 数 据 集 上 ,这 样 的 一 个 算法 可 以 在 0.34 秒 的 时 间 里 完成 计算 ， 
并 达到 相当 出 色 的 精度 ， 偏 移 估计 误差 在 3~4 像素 左右 ， 对 大 于 3 像素 的 偏 移 估 计 误差 
在 8.61 像素 ， 表 现 优 于 其 他 低速 度 的 算法 。 

在 得 到 每 个 像素 上 y; 的 分 布 后 , 我 们 还 需要 加 入 空间 上 的 平 少 约束 ,本 节 试 验 了 三 种 
方法 。 

。 最 简单 直接 的 5x5 窗口 平均 。 

© 加 入 了 相 邻 像素 y 一 致 性 的 半 全 局 块 匹配 ( semi global block matching ) o 

e 超 像素 +3 维 斜 面 。 


这 些 平 请 方法 一 起 ， 能 把 偏 移 估计 的 误差 再 降低 大 约 50%， 这 样 就 得 到 了 一 个 比较 
准确 的 2 位 偏 移 矢量 场 。 基 于 它 ， 我 们 能 够 得 到 图 4-8 所 示 场 景 的 三 维 深度 /距离 估计 。 
这 样 的 信息 对 无 人 车 自动 驾驶 非常 重要 。 
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图 4-8 深度 信息 图 示意 


4.5 物体 的 识别 与 追踪 


从 像素 层面 的 颜色 、 偏 移 和 距离 信息 到 物体 层面 的 空间 位 置 和 运动 轨迹 , 是 无 人 车 视 
觉 感知 系统 的 重要 功能 。 无 人 车 的 感知 系统 需要 实时 的 识别 和 追踪 多 个 运动 目标 
( multi-object tracking, MOT )， 例 如 车 辆 和 行人 。 口 物体 识别 问题 是 计算 机 视觉 的 核心 问 
题 之 一 ， 最 近 几 年 由 于 深度 学 习 的 革命 性 发 展 ， 计 算 机 视觉 领域 大 量 使 用 卷 积 神经 网 络 ， 
物体 识别 的 准确 率 和 速度 得 到 了 很 大 提升 ,但 总 的 来 说 物体 识别 算法 的 输出 一 般 是 有 噪声 
的 : 物体 的 识别 有 可 能 不 稳定 ， 物 体 可 能 被 遮挡 ， 可 能 有 短暂 误 识别 等 。MOT 问题 中 流 
行 的 tracking-by-detection 方法 就 要 解决 这 样 一 个 难点 : 如 何 基 于 有 噪声 的 识别 结果 获得 
鲁 棒 的 物体 运动 轨迹 。 在 ICCV 2015 会 议 上 ， 斯 坦 福 大 学 的 研究 者 发 表 了 基于 马尔 可 夫 
决策 过 程 (MDP ) 的 MOT 算法 来 解决 这 个 问题 ， 下 面 我 们 就 详细 介绍 这 个 工作 。 
运动 目标 的 追踪 用 一 个 MDP 来 建 模 ， 如 图 4-9 所 示 。 
© 运动 目标 的 状态 : S € S = Sactive U Stracked U Slost U Sinactive ， 这 几 个 子 空间 各 自 包 
含 无 穷 多 个 目标 状态 。 被 识别 到 的 目标 首先 进入 active 状态 ， 如 果 是 误 识 别 ， 目 
标 进入 inactive 状态 ,否则 进入 tracked 状态 。 处 于 tracked 状态 的 目标 可 能 进入 lost 
状态 ， 处 于 lost 状态 的 目标 可 能 返回 tracked 状态 ， 或 者 保持 lost 状态 ， 或 者 在 足 
够 长 时 间 之 后 进入 inactive 状态 。 
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e 


作用 ae 4， 所 有 作用 都 是 确定 性 的 。 

状态 变化 函数 7:5 x A 5 定义 了 在 状态 s 和 作用 a 下 目标 状态 变 为 s'。 

奖励 函数 R: S x A  R 定义 了 作用 a 之 后 到 达 状 态 s 的 即时 奖励 ， 这 个 函数 是 从 训 
练 数据 中 学 习 的 。 

规则 :3 > 4A 决定 了 在 状态 s 采 用 的 作用 a。 






object a 
detection 


图 4-9 MDP 状态 转化 示意 图 


如 图 4-10 所 示 ， 这 个 MDP 的 状态 空间 变化 如 下 。 


在 active 状态 下 ,物体 识别 算法 提出 的 物体 候选 通过 一 个 线 下 训练 的 支持 向 量 机 
(SVM) , ， 判 断 下 一 步 的 作用 是 ai 还 是 oz ， 这 个 SVM 的 输入 是 候选 物体 的 特征 
向 量 、 空 间 位 置 大 小 等 ， 它 决定 了 在 Sactive 中 的 MDP 规则 mactive。 
在 tracked 状态 下 ， 一 个 基于 tracking-learning-detection 追踪 算法 的 物体 线 上 人 外观 
模型 被 用 来 决定 目标 物体 是 否 保持 在 tracker 状态 还 是 进入 lost 状态 。 这 个 外 观 模 
型 ( Appearance Model ) 使 用 当前 帧 中 目标 物体 所 在 的 矩形 (Bounding Box ) 作为 
模板 (Template ) ， 所 有 在 tracked 状态 下 收集 的 物体 外 观 模板 在 lost 状态 下 被 用 
来 判断 目标 物体 是 否 回 到 tracked 状态 。 另 外 在 tracked 状态 下 ， 物 体 的 追踪 使 用 
上 述 外 观 模型 模板 ， 和 矩形 范围 内 的 Optical Flow 和 物体 识别 算法 提供 的 候选 物体 
和 目标 物体 的 重合 比例 决定 是 否 保持 在 tracked RE, 如 果 是 , 那么 目标 物体 的 外 
观 模板 自动 更 新 。 
在 lost 状态 下 ， 如 果 一 个 物体 保持 lost 状态 超过 一 个 靖 值 帧 数 ， 就 进入 inactive 
状态 ; 物体 是 否 返回 tracked 状态 由 一 个 基于 目标 物体 和 候选 物体 相似 性 特征 向 量 
的 分 类 器 决定 ， 对 应 了 Siost 中 的 mosto 


sjs.cn 000000 


4 ”基于 计算 机 视觉 的 无 人 驾驶 感知 系统 T 


DP eA —» 69—- 
uona 
vona ae 


图 4-10 MDP 状态 转换 实例 
这 个 基于 MDP 的 算法 在 KITTI 数据 集 的 物体 追踪 评估 中 达到 了 业界 领先 水 平 。 























4.6 ”视觉 里 程 计算 法 


基于 视觉 的 定位 算法 有 两 大 分 类 : 一 种 是 基于 拓扑 与 地 标的 算法 , 另 一 种 是 基于 几何 
的 视觉 里 程 计算 法 。 基 于 拓扑 与 地 标的 算法 把 所 有 的 地 标 组 成 一 个 拓扑 图 , 然后 当 无 人 车 
监测 到 某 个 地 标 时 , 便 可 以 大 致 推断 出 自己 所 在 的 位 置 。 基 于 拓扑 与 地 标的 算法 相对 于 基 
于 几何 的 方法 容易 些 , 但 是 要 求 预先 建立 精准 的 拓扑 图 , 比如 将 每 个 路 口 的 标志 物 做 成 地 
标 。 基 于 几何 的 视觉 里 程 计算 法 计算 比较 复杂 , 但 是 并 不 需要 预先 建立 精准 的 拓扑 图 , 这 
种 算法 可 以 在 定位 的 同时 扩展 地 图 。 本 节 我 们 将 着 重 介绍 视觉 里 程 计 算法 。 


视觉 里 程 计 算法 主要 分 为 单 目 及 双 目 两 种 。 纯 单 目 视觉 里 程 算法 存在 的 主要 问题 是 无 
法 推算 出 观察 到 的 物体 大 小 , 所 以 使 用 者 必须 假设 或 者 推算 出 一 个 初步 的 大 小 , 或 者 通过 
与 其 他 的 传感器 结合 ( 比如 陀螺 仪 ) 进行 准确 的 定位 。 双 目的 视觉 里 程 计算 法 通过 左右 图 
triangulation 计算 出 特征 点 的 深度 ， 然 后 从 深度 信息 中 推算 出 物体 的 大 小 。 图 4-11 所 示 为 
双 目 视觉 里 程 计 算法 的 具体 计算 流程 。 
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4-11 视觉 里 程 计算 法 原理 图 
(1) 双 目 摄像 机 抓 取 左右 两 图 。 


(2) 双 目 图 像 经 过 triangulation 产生 当前 帧 的 disparity map. 


(3) 提取 当前 帧 与 之 前 帧 的 特征 点 ,如 果 之 前 帧 的 特征 点 已 经 提取 好 了 , 那么 我 们 可 
以 直接 使 用 之 前 帧 的 特征 点 。 特 征 点 提取 可 以 使 用 Harris Corner Detector. 

(4) 对 比 当前 帧 与 之 前 帧 的 特征 点 , 找 出 帧 与 帧 之 间 的 特征 点 对 应 关系 。 具体 可 以 使 
用 RANSAC 算法 。 

(5 ) 根据 帧 与 帧 之 间 的 特征 点 对 应 关系 , 推算 出 两 帧 之 间 车 辆 的 运动 。 这 个 推算 是 最 
小 化 两 帧 之 间 的 reprojection error 实现 的 。 

(6 ) 根 据 推算 出 的 两 帧 之 间 车 辆 的 运动 , 以 及 之 前 的 车 辆 位 置 , 计算 出 最 新 的 车 辆 位 置 。 

通过 以 上 视觉 里 程 计算 法 , 无 人 车 可 以 实时 推算 出 自己 的 位 置 , 进行 自主 导航 , 但 是 
纯 视觉 定位 计算 的 一 个 很 大 的 问题 是 算法 本 身 对 光线 相当 敏感 。 在 不 同 的 光线 条 件 下 ， 同 
样 的 场景 不 能 被 识别 。 特 别 在 光线 较 弱 时 , 图 像 会 有 很 多 噪点 , 极 大 地 影响 了 特征 点 的 质 
量 。 在 反光 的 路 面 , 这 种 算法 也 很 容易 失效 。 这 也 是 影响 视觉 里 程 计 算法 在 无 人 鸭 驶 场景 
普及 的 一 个 主要 原因 。 可 能 的 解决 方法 是 在 光线 条 件 不 好 的 情况 下 , 更 加 依赖 根据 车 轮 及 
雷达 返回 的 信息 进行 定位 ， 我 们 会 在 后 面 章 节 中 详细 讨论 这 部 分 内 容 。 


4.7 结论 


本 章 ， 我 们 探索 了 基于 视觉 的 无 人 驾驶 感知 方案 。 首 先 ， 要 验证 一 个 方案 是 否 可 行 ， 
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我 们 需要 一 个 标准 的 测试 方法 。 为 此 我 们 介绍 了 无 人 驾驶 的 标准 KITTI 数据 集 。 在 有 了 
标准 的 数据 集 后 , 研究 人 员 可 以 开发 基于 视觉 的 无 人 驾驶 感知 算法 , 并 使 用 数据 集 对 算法 
进行 验证 。 然后, 我 们 详细 了 解 了 计算 机 视觉 的 Optical Flow 和 立体 视觉 ,物体 的 识别 和 
跟踪 , 以 及 视觉 里 程 计算 法 等 技术 , 以 及 这 些 技术 在 无 人 驾驶 场景 的 应 用 。 视觉 主 导 的 无 
人 车 系统 是 目前 研究 的 前 沿 , 虽然 目前 各 项 基于 视觉 的 技术 还 没完 全 成 熟 , 但 我 们 相信 和 在 
未 来 五 年 ， 如 果 LiDAR 的 成 本 不 能 降下 来 ， 基 于 摄像 机 的 视觉 感知 会 逐步 取代 LiDAR 
的 功能 ， 为 无 人 车 的 普及 打 好 基础 。 


无 人 鸭 驶 可 能 是 计算 机 视觉 发 展 的 一 次 难得 的 机 遇 , 无 人 车 产业 爆发 带 来 的 资源 , 无 
人 车 收集 的 大 量 真实 世界 的 数据 和 LIDAR 提供 的 高 精度 三 维 信息 可 能 意味 着 计算 机 视觉 
将 要 迎 来 “大 数据 ”和 “大 计算 ” 带 来 的 红利 ,数据 的 极 大 丰富 和 算法 的 迭代 提高 相 辅 相 
成 ,会 推动 计算 机 视觉 研究 的 前 进 ， 从 而 在 无 人 驾驶 中 起 到 更 加 不 可 或 缺 的 作用 。 
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郑 积 神经 网 络 在 无 人 地 
驶 中 的 应 用 


本 章 着 重 介绍 卷 积 神经 网 络 在 无 人 驾驶 中 的 应 用 。 无 人 轰 驶 的 感知 部 分 作为 计算 机 视 
觉 的 领域 范围 , 也 不 可 避免 地 成 为 卷 积 神经 网 络 发 挥 作用 的 舞台 。 本章 将 深入 介绍 卷 积 神 
经 网 络 在 无 人 驾驶 3D 感知 与 物体 检测 中 的 应 用 。 


5.1 CNN 简介 


卷 积 神经 网 络 ( Convolutional Neural Network, CNN ) 站 外 站 的 负 是 一 种 适合 使 用 在 连 
续 值 输入 信号 上 的 深度 神经 网 络 ， 比 如 声音 、 图 像 和 视频 。 它 的 历史 可 以 回溯 到 1968 年 
Hubel 和 Wiesel 在 动物 视觉 皮层 细胞 中 发 现 的 对 输入 图 案 的 方向 选择 性 和 平移 不 变性 ,这 
个 工作 为 他 们 赢得 了 诺 贝 尔 奖 。 时 间 推 进 到 20 世纪 80 年 代 ， 随 着 神经 网 络 研究 的 深入 ， 
研究 人 员 发 现 对 图 片 输入 做 卷 积 操作 和 生物 视觉 中 的 神经 元 接受 局 部 ( Receptive Field ) 
内 的 输入 有 相似 性 ， 那 么 在 神经 网 络 中 加 上 卷 积 操作 也 就 成 了 自然 而 然 的 事情 。 当 前 的 
CNN 相 比 通常 的 深度 神经 网 络 ( Deep Neural Network, DNN )， 它 的 特点 主要 如 下 。 





(1 ) 一 个 高 层 的 神经 元 只 接受 某 些 低层 神经 元 的 输入 , 这 些 低层 神经 元 处 于 二 维 空 间 
中 的 一 个 邻 域 , 通常 是 一 个 和 矩形。 这 个 特点 受 了 生物 神经 网 络 中 Receptive Field 概念 的 
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(2 ) 同一 层 中 不 同 神经 元 的 输入 权重 共享 , 这 个 特点 可 以 认为 是 利用 了 视觉 输入 中 的 
平移 不 变性 ， 不 光大 幅度 减少 了 CNN 模型 的 参数 数量 ， 还 加 快 了 训练 速度 。 


由 于 CNN 在 神经 网 络 的 结构 上 针对 视觉 输入 本 身 特 点 做 的 特定 的 设计 , 所 以 它 是 计 
算 机 视觉 领域 使 用 DNN 时 的 不 二 选择 。 在 2012 年 CNN 一 举 打破 了 ImageNet 这 个 图 像 
识别 竞赛 的 世界 纪录 之 后 , 计算 机 视觉 领域 发 生 了 天 翻 地 覆 的 变化 , 各 种 视觉 任务 都 放弃 
了 传统 方法 ， 启 用 CNN 构建 新 的 模型 。 无 人 普 驶 的 感知 部 分 作为 计算 机 视觉 的 领域 范围 
的 一 部 分 ， 也 不 可 避免 地 成 为 CNN 发 挥 作 用 的 舞台 。 


5.2 无 人 驾驶 双 目 3D 感知 


在 无 人 车 感知 中 ， 对 周围 环境 的 3D 建 模 是 重 中 之 重 。 激 光 雷 达能 提供 高 精度 的 3D 
点 云 ,但 密集 的 3D 信息 就 需要 摄像 头 的 帮助 了 。 人 用 两 只 眼睛 获得 立体 的 视觉 感受 ， 同 
样 的 道理 能 让 双 目 摄像 头 提供 3D 信息 。 假 设 两 个 摄像 头 间距 为 8， 空间 中 一 点 P 卫 到 两 个 
摄像 头 所 成 图 像 上 的 偏 移 (disparity) 7g d, 摄像 头 的 焦距 为 /， 那么 我 们 可 以 计算 P 点 到 
摄像 头 的 距离 为 ; 


_B 
z= a 
所 以 为 了 感知 3D 环境 得 到 z， 我 们 需要 通过 双 目 摄像 头 的 两 张 图 像 1 和 1 得 到 4d， 通 
常 的 做 法 是 基于 局 部 的 图 片 匹配 : 
I,(p) > 1(p+d) 
由 于 单个 像素 的 值 可 能 不 稳定 ， 所 以 需要 利用 周围 的 像素 和 平滑 性 假设 d(x,y) = 
d(x 十 Q@,y +6) (假设 w 和 8 都 较 小 )， 这 样 求解 4 就 变 成 了 一 个 最 小 化 问题 ， 


min D(q, d) = min > Il 1.(q) — I. (q + d) Il 
q€N(p) 
所 以 下 面 将 要 介绍 的 算法 ， 对 于 两 者 都 适用 。 
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5.2.1 MC-CNN 


现在 我 们 来 看 看 Matching-Cost CNN Hik, O 这 个 算法 使 用 了 一 个 CNN 来 计算 上 式 
的 右 侧 matching cost, MC-CNN 的 网 络 结构 如 图 5-1 所 示 。 


这 个 网 络 的 输入 是 两 个 图 片 的 一 小 块 , 输出 是 这 两 块 不 匹配 的 概率 , 相当 于 一 个 cost 
函数 ， 当 两 者 匹配 时 为 0， 不 匹配 时 最 大 可 能 为 1。 通 过 对 一 个 给 定 的 图 片 位 置 搜 索 可 能 
的 4 取 值 ， 找 到 最 小 的 CNN 输出 ， 就 得 到 了 这 一 点 局 部 的 偏 移 估算 。MC-CNN 算法 接 下 
来 做 了 如 下 后 期 处 理 。 


( 1 )Cross-based cost aggregation: 基本 思想 是 对 邻近 的 像素 值 相似 的 点 的 偏 移 求 平均 ， 
提高 估计 的 稳定 性 和 精度 。 


( 2) Semi-global matching: 基本 思想 是 邻近 的 点 的 平移 应 该 相似 ， 加 入 平滑 约束 并 求 
偏 移 的 最 优 值 。 


(3) 插值 和 图 片 边界 修正 ; 提高 精度 ， 填 补 空白 


Left "4 patch Right — patch 


BU 


L3: 


5-1 MC-CNN 的 网 络 结构 


最 终 算法 效果 如 图 5-2 所 示 。 
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Right input image 
图 5-2 MC-CNN 的 算法 效果 
MC-CNN 虽然 使 用 了 CNN, 但 仅 限 于 计算 匹配 程度 ， 后 期 的 平滑 约束 和 优化 都 是 必 
不 可 少 的 ， 那 么 有 没有 可 能 使 用 CNN 一 步 到 位 呢 ? FlowNet 就 是 这 样 做 的 。 
5.2.2 FlowNet 


为 了 实现 端 到 端的 模型 结构 ,我 们 需要 用 CNN 实现 特征 提取 ， 匹 配 打分 和 全 局 优化 
等 功能 。FlowNet 采取 了 encoder-decoder 的 框架 ， 把 一 个 CNN 分 成 了 收缩 和 扩张 两 个 部 
分 ，D 如 图 5-3 所 示 。 


convolutional 
network 





图 5-3  encoder-decoder 算法 框架 

在 收缩 部 分 FlowNet 提出 了 两 种 可 能 的 模型 结构 。 

( 1) FlowNetSimple: 把 两 幅 图 片 番 起 来 输入 到 一 个 “线性 ”的 CNN 中 , 输出 是 每 个 
像素 的 偏 移 量 。 这 个 模型 的 弱点 是 计算 量 大 , 而 且 无 法 考虑 全 局 的 优化 手段 ,因为 每 个 像 
素 的 输出 是 独立 的 。 

( 2) FlowNetCorr: 先 对 两 幅 图 片 分 别 进行 特征 的 提取 ， 然 后 通过 一 个 相关 层 把 两 个 
分 支 合 并 起 来 并 继续 下 面 的 卷 积 层 运算 。 这 个 相关 层 的 计算 和 卷 积 层 类 似 , 只 是 没有 了 学 
习 到 的 特征 权重 ， 而 是 由 两 个 分 支 得 到 的 隐 层 输出 相 乘 求 和 ， 如 图 5-4 所 示 。 
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图 5-4 FlowNetSimple 与 FlowNetCorr 原理 图 


FlowNet 网 络 收缩 部 分 不 仅 减 少 了 CNN 的 计算 量 ， 同 时 起 到 了 在 图 像 平 面 上 聚合 信 
息 的 作用 ， 但 这 也 导致 了 分 辩 率 的 下 降 。 于 是 FlowNet 在 网 络 扩张 部 分 使 用 了 “up 
convolution” 来 提高 分 辨 率 , 注意 这 里 不 仅 使 用 了 上 一 层 的 低 分 辩 率 输出 ， 还 使 用 了 网 络 
收缩 部 分 的 相同 尺度 的 隐 层 输出 ， 如 图 5-5 所 示 。 





图 5-5 FlowNet 网 络 扩张 原理 图 


FlowNet 算法 在 常见 的 公开 数据 集 上 都 获得 了 不 错 的 效果 , 尤其 值得 一 提 的 是 它 的 速 
度 很 快 。 


5.3 无 人 驾驶 物体 检测 


物体 检测 技术 是 无 人 鸭 驶 感知 必 不 可 少 的 部 分 。 自 从 2012 年 CNN 在 图 片 分 类 问题 
上 取得 突破 ， 物 体检 测 这 个 问题 自然 成 为 了 CNN 应 用 的 下 一 个 目标 ， 使 用 CNN 的 物体 
检测 算法 层出不穷 ， 我 们 只 挑选 有 代表 性 的 几 个 算法 做 介绍 。 

在 CNN 在 物体 识别 领域 里 大 行 其 道 之 前 ， 通 常 的 做 法 是 类 似 于 DPM (Deformable 
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Parts Model ) 这 样 的 解决 方案 : 在 图 像 上 抽取 局 部 特征 的 组 合作 为 模板 ,比如 基于 图 像 的 
空间 梯度 的 HOG 特征 ， 为 了 能 够 处 理 形变 、 遮 挡 等 变化 ,我 们 建立 一 个 “弹性 ”的 结构 
把 这 些 “ 刚 性 ”的 部 分 组 合 起 来 , 最 后 加 上 一 个 分 类 器 判断 物体 是 否 出 现 。 这 样 的 算法 一 
般 复 杂 度 较 高 ， 需 要 大 量 的 经 验 ， 而 且 改 进 和 优化 难度 较 大 。CNN 的 到 来 改变 了 一 切 。 


R-CNN 系列 算法 MW 是 一 个 两 段 式 的 算法 ， 它 把 物体 识别 这 个 问题 分 为 两 方面 。 


。 物体 可 能 所 在 区 域 的 选择 : 输入 一 张 图 片 ， 由 于 物体 在 其 中 的 位 置 大 小 有 太 多 可 
能 性 ， 我 们 需要 一 个 高 效 的 方法 找 出 它们 ， 这 里 的 重点 是 在 区 域 个 数 的 一 定 上 限 
下 ， 尽 可 能 地 找到 所 有 的 物体 ， 关 键 指标 是 召回 率 。 

。 候选 区 域 的 识别 : 给 定 了 图 片 中 的 一 块 矩 形 区域 ， 识 别 其 中 的 物体 并 修正 区 域 大 
小 和 长 宽 比 ， 输 出 物体 类 别 和 更 “ 紧 ” 的 矩形 框 。 这 里 的 重点 在 识别 的 精度 。 


在 了 解 了 算法 的 大 致 架构 后 ,我们 来 看 看 算法 的 具体 实现 , 这 里 我 们 主要 描述 R-CNN 
这 一 系列 算法 的 最 新 版 ; Faster R-CNN， 它 对 应 上 面 的 两 步 分 为 RPN (Region Proposal 
Network ) 和 FastR-CNN， 我 们 将 分 别 介绍 。 


5.3.1 RPN 


我 们 称 物体 可 能 所 在 区 域 为 候选 ,RPN 中 的 功能 就 是 最 高 效 地 产生 这 样 一 个 候选 列表 。 
如 图 5-6 所 示 ，RPN 选择 使 用 CNN 为 基础 ， 图 片 通过 多 个 〈 比 如 4 个 ) 卷 积 层 进 行 特征 
提取 ， 在 最 后 一 个 卷 积 层 输出 的 特征 图 上 使 用 一 个 3x3 的 滚动 窗口 连接 到 一 个 256 或 者 
512 维 的 全 连接 隐 层 ,最 后 再 分 支 到 两 个 全 连接 层 ,一 个 输出 物体 类 别 , 一 个 输出 物体 的 
位 置 大 小 。 为 了 能 够 使 用 不 同 的 物体 大 小 和 长 宽 比 ， 在 每 一 个 位 置 上 我 们 考虑 三 个 尺度 
( 128x128, 256x256, 512x512 ) 和 三 个 长 宽 比 ( 1:1、1:2、2:1 ) 一 共 9 种 组 合 。 这 样 一 个 
1000x600 的 图 片上 我 们 考虑 了 (1000/16) x (600/16) x 9 ~ 20,000 种 位 置 大 小 和 长 宽 比 的 组 
合 ， 由 于 我 们 使 用 CNN 计算 ， 这 一 步 耗 时 不 多 。 最 后 ,我 们 根据 空间 重 普 程度 去 掉 匈 余 
的 候选 区 域 ， 一 张 图 片 获 得 2000 个 左右 的 物体 可 能 区 域 。 
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图 5-6 RPN 算法 原理 图 
5.3.2 Fast R-CNN 


在 候选 区 域 分 类 阶段 , 我们 使 用 的 是 基于 全 连接 的 神经 网 络 ， 如 图 5-7 所 示 的 右 侧 
部 分 。 

根据 图 5-7 左 侧 的 特征 提取 部 分 我 们 可 以 重用 RPN 中 的 CNN 计算 结果 , 这 大 大 节约 
了 计算 时 间 ， 能 达到 5-17 帧 每 秒 的 速度 。 





feature map 


图 5-7 Fast R-CNN 算法 原理 图 
5.3.3 MS-CNN 


虽然 Faster R-CNN 算法 大 名 易 易 ， 但 在 物体 尺度 变化 很 大 的 场景 (比如 无 人 芍 驶 ) 
中 还 有 提升 的 空间 , Multi-scale CNN. ( MS-CNN ) 呈正 是 针对 这 个 问题 的 一 个 尝试 。CNN 
的 层级 结构 由 于 pooling 层 的 存在 自然 形成 了 和 不 同 尺度 的 对 应 关系 。 那 我 们 为 什么 不 把 
对 物体 的 检测 放 到 CNN 的 不 同 层 里 去 呢 ? 这 正 是 MS-CNN 的 想法 。 


在 选择 物体 候选 区 域 阶 段 , MS-CNN 使 用 了 如 图 5-8 所 示 的 网 络 结构 , 我 们 看 到 如 果 
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把 CNN 网 络 里 的 卷 积 层 看 成 一 个 大 树 的 “主干 ”"， 那 么 在 conv3 、conv4 和 conv5 三 个 卷 
积 层 之 后 这 个 网 络 都 长 出 了 “分 支 "， 每 个 “分 支 ” 都 连接 了 一 个 检测 层 ， 负 责 一 定 的 尺 
度 范围 ， 这 样 多 个 “分 支 ” 一 起 ， 就 能 履 盖 比较 宽 的 物体 尺度 范围 ， 达 到 我 们 的 目的 。 

在 候选 区 域 识别 阶段 , 如 图 5-9 所 示 , 我 们 让 上 一 阶段 多 个 检测 层 的 输出 特征 图 分 别 
输入 到 一 个 子 网 络 里 ， 这 里 有 几 个 值得 注意 的 细节 。 





m 
| M, input Image 





图 5-8 MS-CNN 分 层 模型 示意 图 


(1) 第 一 层 是 个 “deconvolution” 层 ， 目 的 是 提高 特征 图 的 分 辨 率 ， 保 证 物体 检测 的 
准确 率 ， 特 别 是 对 尺度 偏 小 的 物体 来 说 。 

(2) Deconvolution 之 后 ,在 抽取 物体 特征 的 时 候 (MEE), 我 们 同时 还 抽取 了 物体 周 
ime (CAFE), 这些“ 上 下 文 ”信息 对 识别 准确 率 的 提高 有 明显 帮助 。 

总 的 来 说 ，MS-CNN 和 Faster R-CNN 相 比 ， 优 势 是 识别 的 准确 度 有 很 大 提高 ， 尤 其 
在 物体 尺度 变化 的 情况 下 ， 比 如 KITTI 数据 集 里 的 行人 和 自行 车 ， 但 Faster R-CNN 还 是 
有 速度 的 优势 。 
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图 5-9 MS-CNN 算法 原理 图 
5.3.4 SSD 


虽然 Faster R-CNN 的 速度 相 比 之 前 的 R-CNN 已 经 有 了 很 大 提高 , 但 还 是 达 不 到 实时 
的 要 求 。Single Shot Detector (SSD) 5 就 是 一 个 能 够 实时 运行 ， 有 更 佳 准确 度 的 算法 ， 
最 近 人 气 很 高 。SSD 沿用 了 滑动 窗口 的 思想 ， 通 过 离散 化 物体 的 位 置 、 大 小 和 长 宽 比 ， 
使 用 CNN 高 效 计 算 了 各 种 可 能 的 物体 情况 ， 从 而 达到 高 速 检测 物体 的 目的 ， 如 图 5-10 
所 示 。 














图 5-10. SSD 算法 原理 图 


SSD 使 用 了 VGG-16 网 络 做 底层 的 图 片 特征 提取 ， 通 过 取消 生成 候选 区 域 、 图 片 缩 
放 和 特征 图 采样 的 步 又 ， 一 步 到 位 判断 物体 位 置 和 分 类 ，SSD 是 一 种 高 速 的 物体 检测 算 
法 。 

在 VGG 网 络 的 基础 上 ，SSD 加 入 了 逐步 变 小 的 卷 积 层 这些 不 同 斥 度 的 卷 积 层 分 别 
使 用 3x3 大 小 的 卷 积 核 进 行 物体 位 置 偏 移 和 分 类 的 判断 ， 使 得 SSD 能 够 检测 到 不 同 大 小 
的 物体 。 
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5.4 结论 


无 人 驾驶 的 感知 部 分 的 主要 功能 是 计算 机 视觉 领域 研究 的 相关 问题 ,因此 将 不 可 避免 
地 成 为 CNN 发 挥 作用 的 舞台 。CNN 在 无 人 驾驶 中 的 应 用 主要 包括 3D 感知 与 物体 检测 。 
在 3D 感知 中 使 用 到 的 网 络 包括 MC-CNN 与 FlowNet， 在 物体 检测 中 使 用 到 的 网 络 包括 
Faster R-CNN, MSCNN 与 SSD, 本 章 详 细 介绍 了 各 种 网 络 的 优 和 缺点, 希望 对 读者 选择 网 
络 时 有 帮助 。 
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增强 学 习 在 无 人 驾驶 中 
的 应 用 


本 章 着 重 介绍 增强 学 习 在 无 人 鸭 驶 中 的 应 用 。 增 强 学习 的 目的 是 通过 和 环境 交互 学 习 
到 如 何在 相应 的 观测 中 采取 最 优 行 为 。 相 比 传统 的 机 器 学 习 ,增强 学 习 有 以 下 优势 :首先 ， 
由 于 不 需要 标注 的 过 程 , 增强 学 习 可 以 更 有 效 地 解决 环境 中 存在 的 特殊 情况 。 其 次 , 增强 
学 习 可 以 把 整个 系统 作为 一 个 整体 的 系统 , 从 而 对 其 中 的 一 些 模块 更 加 鲁 棒 。 最 后 ,增强 
学 习 可 以 比较 容易 地 学 习 到 一 系列 的 行为 。 这 些 特性 十 分 适用 于 无 人 驾驶 中 的 决策 过 程 ， 
本 章 将 深入 探讨 增强 学 习 如 何在 无 人 驾驶 决策 过 程 中 发 挥 作用 。 





6.1 增强 学 习 简 介 


增强 学 习 (Reinforcement Learning ) 是 最 近 几 年 机 器 学 习 领 域 的 最 新 进展 。 增 强 学 习 
的 目的 是 通过 和 环境 交互 学 习 到 如 何在 相应 的 观测 中 采取 最 优 行 为 。 趾 行为 的 好 坏 可 以 
通过 环境 给 的 奖励 确定 。 不 同 的 环境 有 不 同 的 观测 和 奖励 。 例 如 , 鸭 驶 中 环境 的 观测 是 摄 
像 头 和 激光 雷达 采集 到 的 周围 环境 的 图 像 和 点 云 ， 以 及 其 他 传感器 的 输出 ( 如 行驶 速度 、 
GPS 定位 和 行驶 方向 ), 驾 驶 中 的 环境 的 奖励 根据 任务 的 不 同 , 可 以 通过 到 达 终 点 的 速度 、 
舒适 度 和 安全 性 等 指标 确定 。 
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增强 学 习 和 传统 机 器 学 习 的 最 大 区 别 是 增强 学 习 是 一 个 闭环 学 习 的 系统 ,增强 学 习 算 
法 选取 的 行为 会 直接 影响 环境 , 进而 影响 该 算法 之 后 从 环境 中 得 到 的 观测 。 传统 的 机 器 学 
习 把 收集 训练 数据 和 模型 学 习作 为 两 个 独立 的 过 程 。 以 学 习 一 个 人 脸 分 类 的 模型 为 例 , 传 
统 机 器 学 习 的 方法 首先 需要 我 们 雇佣 标注 者 标注 一 批 人 脸 图 像 的 数据 ,然后 我 们 在 这 些 数 
据 中 学 习 模型 , 最 后 我 们 可 以 把 训练 出 来 的 人 脸 识别 模型 在 现实 的 应 用 中 进行 测试 。 如 果 
发 现 测试 的 结果 不 理想 , 那么 我 们 需要 分 析 模 型 中 存在 的 问题 , 并 且 试 着 从 数据 收集 或 者 
模型 训练 中 寻找 问题 的 原因 , 然后 从 这 些 步骤 中 解决 这 些 问 题 。 对 于 同样 的 问题 ， 增 强 学 
习 采 用 的 方法 是 通过 在 人 脸 识别 的 系统 中 尝试 进行 预测 ,并且 通过 用 户 反馈 的 满意 程度 调 
整 自己 的 预测 , 从 而 统一 收集 训练 数据 和 模型 学 习 的 过 程 。 增强 学 习 和 环境 交互 过 程 的 杠 
图 如 图 6-1 Aras. 





图 6-1 增强 学 习 和 环境 交互 示意 图 


增强 学 习 存 在 着 很 多 传统 机 器 学 习 不 具备 的 挑战 。 首先 , 因为 在 增强 学 习 中 没有 确定 
的 在 每 一 个 时 刻 应 该 采取 哪个 行为 的 信息 ,所 以 增强 学 习 算法 必须 通过 探索 各 种 可 能 的 行 
为 才能 判断 出 最 优 的 行为 。 如 何在 可 能 行为 数量 较 多 的 情况 下 有 效 地 进行 探索 是 增强 学 习 
中 最 重要 的 问题 之 一 。 其 次 , 在 增强 学 习 中 一 个 行为 不 仅 可 能 影响 到 当前 时 刻 的 奖励 , 而 
且 还 可 能 影响 到 之 后 所 有 时 刻 的 奖励 。 在 最 坏 的 情况 下 , 一 个 好 行为 不 会 在 当前 时 刻 获 得 
奖励 ,而 会 在 很 多 步 都 执行 正确 后 才能 得 到 奖励 。 在 这 种 情况 下 ,增强 学 习 判断 出 奖励 和 
很 多 步 之 前 的 行为 有 关 是 非常 难 的 。 
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无 人 驾驶 中 的 感知 模块 不 可 能 做 到 完全 可 靠 。 前 段 时 间 ，Tesla 的 无 人 驾驶 事故 就 是 
在 强 光 的 环境 中 感知 模块 失效 导致 的 。 增强 学 习 可 以 做 到 , 即使 在 某 些 模块 失效 的 情况 下 
也 能 做 出 稳妥 的 行为 。 增强 学 习 可 以 比较 容易 地 学 习 到 一 系列 的 行为 。 无 人 驾驶 中 需要 执 
行 一 系列 正确 的 行为 才能 成 功 的 驾驶 。 如果 只 有 标注 数据 , 学 习 到 的 模型 每 个 时 刻 偏 移 了 
一 点 ， 到 最 后 可 能 会 偏 移 非常 多 ， 产 生 毁 灭 性 的 后 果 。 增 强 学 习 能 够 学 会 自动 修正 偏 移 。 


综 上 所 述 , 增强 学 习 在 无 人 驾驶 中 有 广泛 的 前 景 。 本 章 会 介绍 增强 学 习 的 常用 算法 及 
其 在 无 人 驾驶 中 的 应 用 。 希 望 能 够 激发 读者 对 这 个 领域 的 探索 性 工作 。 


6.2 ”增强 学 习 算法 


增强 学 习 中 的 每 个 时 刻 tE {0,1,2,…} 中 ,我 们 的 算法 和 环境 通过 执行 行为 a 进行 交互 ， 
可 以 得 到 观测 s, 和 奖励 ”。 一 般 情况 下 , 我 们 假设 环境 是 存在 马尔 科 夫 性 质 的 ， 也 就 是 环 
境 的 变化 完全 可 以 通过 状态 转移 概率 Pass'=Pr{sit+1=s'|s=s,aFFq} 刻 画 出 来 。 也 就 是 说 ， 环 
境 下 一 时 刻 的 观测 值 与 给 定 当前 时 刻 的 观测 值 和 行为 ,以 及 与 之 前 所 有 时 刻 的 观测 值 和 行 
为 都 没有 关系 。 而 环境 早 +1 时 刻 返 回 的 奖励 在 当前 状态 和 行为 确定 下 的 期 望 可 以 表示 为 : 
Ras=E{r+\|s=s,a=a}. 增强 学 习 算法 在 每 一 个 时 刻 执 行 行为 的 策略 可 以 通过 概率 
n(s,a,0)=P,{a=als=s;0} 7, Hirn 9 是 需要 学 习 的 策略 的 参数 。 我 们 需要 学 习 到 最 优 的 增 
强 学 习 策略 ， 也 就 是 学 习 到 能 够 取得 最 高 奖励 的 策略 中 时。 

pG)-E {Ty rlon} 

其 中 y 是 增强 学 习 中 的 折扣 系数 ,用 来 表示 在 之 后 时 刻 得 到 的 奖励 的 折扣 。 同样 的 奖 
励 ， 获 得 的 时 刻 越 早 ， 增 强 学 习 系统 所 感受 到 的 奖励 越 高 。 

同时 ， 我 们 可 以 按照 如 下 方式 定义 Q 函数 。Q 函数 Qpi(s,a) 表 示 的 是 在 状态 为 s， 执 
行 行为 a 之 后 的 时 刻 都 使 用 策略 x 选择 行为 能 够 得 到 的 奖励 。 我 们 能 够 学 习 到 准确 的 Q 
函数 ， 那 么 使 Q 函数 最 高 的 行为 就 是 最 优 的 行为 。 





Q,(s,a)=E (^Y ralsis;a7a;n)-E,[r-YQ«s^a')s.a,x] 
增强 学 习 的 目的 就 是 在 给 定 的 任意 环境 下 , 通过 对 环境 进行 探索 , 学 习 到 最 佳 的 策略 
函数 m 最 大 化 mo(m。 下 面 的 章节 中 我 们 会 简单 介绍 常用 的 增强 学 习 的 算法 ， 包 括 
REINFORCE 算法 和 Deep Q-Learning 算法 。 
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6.2.:1 REINFORCE 算法 


REINFORCE 算法 是 最 简单 的 增强 学 习 算 法 。REINFORCE 算法 的 基本 思想 通过 在 环 
境 里 执行 当前 的 策略 直到 一 个 回合 结束 (比如 游戏 结束 )， 根 据 得 到 的 奖励 可 以 计算 出 当 
前 策略 的 梯度 。 我 们 可 以 用 这 个 梯度 更 新 当前 的 策略 得 到 新 的 策略 。 在 下 面 的 回合 , 我 们 
再 用 新 的 策略 重复 这 个 过 程 , 一 直到 计算 出 的 梯度 足够 小 为 止 。 最 后 得 到 的 策略 就 是 最 优 


假设 我 们 当前 的 策略 的 概率 是 20(x)=Pr{a=als=s;0} (9 是 策略 的 参数 )。 每 个 回合 ， 
算法 实际 执行 的 行为 a, 是 按照 概率 x(x) 采样 得 到 的 。 算法 在 当前 回合 的 时 刻 上 获得 的 奖励 
用 4% 表示 。 那 么 ， 策略 的 梯度 可 以 通过 以 下 公式 计算 。 

Vop(1)=¥,-1' Volog[x(a,|s,;0)]R, 

其 中 rals:0) 是 策略 在 观测 到 s, 时 选择 a, KR. RAYT Sty IEE DE 
前 策略 之 后 获得 的 总 的 折扣 后 的 奖励 。 为 了 减少 预测 出 的 梯度 的 方差 。 我 们 一 般 会 使 用 
(RB) 代替 R,。b, 一 般 等 于 .Ex[Rj]， 也 就 是 当前 1 时 刻 的 环境 下 使 用 策略 x 之 后 能 获得 的 
折扣 后 奖励 的 期 望 。 


计算 出 方差 之 后 ,我 们 可 以 使 用 Q8+VOp(z) 更 新 参数 得 到 新 的 策略 。 


REINFORCE 算法 的 核心 思想 是 通过 从 环境 中 获得 的 奖励 判断 执行 的 行为 的 好 坏 。 如 
果 一 个 行为 执行 之 后 获得 的 奖励 比较 高 , 那么 算出 的 梯度 也 会 比较 高 , 这 样 在 更 新 后 的 策 
咯 中 该 行为 被 采样 到 的 概率 也 会 比较 高 。 反 之 , 对 于 执行 之 后 获得 奖励 比较 低 的 行为 , 因 
为 计算 出 的 梯度 低 , 更 新 后 的 策略 中 该 行为 被 采样 到 的 概率 也 会 比较 低 。 通 过 在 这 个 环境 
中 反复 地 执行 各 种 行为 , REINFORCE 可 以 大 致 准确 地 估计 出 各 个 行为 的 正确 梯度 ,从 而 
对 策略 中 各 个 行为 的 采样 概率 做 出 相应 的 调整 。 


作为 最 简单 的 采样 算法 , REINFORCE 算法 得 到 了 广泛 的 应 用 , 例如 学 习 视觉 的 注意 
力 机 制 和 学 习 序列 模型 的 预测 策略 都 用 到 了 REINFORCE 算法 。 事 实证 明 ， 在 模型 相对 
简单 、 环 境 的 随机 性 不 强 的 环境 下 ，REINFORCE 算法 可 以 达到 很 好 的 效果 。 

但 是 ，REINFORCE 算法 也 存在 它 的 问题 。 首先 ， 在 REINFORCE 算法 中 , 执行 了 一 
个 行为 之 后 的 所 有 奖励 都 被 认为 是 因为 这 个 行为 产生 的 。 这 显然 是 不 合理 的 。 虽然 在 执行 
了 策 咯 足够 多 的 次 数 然后 对 计算 出 的 梯度 进行 平均 之 后 , REINFORCE 有 很 大 的 概率 计算 
出 正确 的 梯度 , 但 在 实际 中 , 出 于 效率 的 考虑 , 同一 个 策略 在 更 新 之 前 不 可 能 在 环境 中 执 
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行 太 多 次 。 在 这 种 情况 下 ，REINFORCE 计算 出 的 梯度 有 可 能 会 有 比较 大 的 误差 。 其 次 ， 
REINFROCE 算法 有 可 能 会 收敛 到 一 个 局 部 最 优点 中 。 如 果 我 们 已 经 学 到 了 一 个 策略 , 这 
个 策略 中 大 部 分 的 行为 都 是 以 近似 1 的 概率 采样 到 的 ， 那 么 即使 这 个 策略 不 是 最 优 的 ， 
REINFORCE 算法 也 很 难 学 习 到 如 何 改进 这 个 策略 , 因为 我 们 完全 没有 执行 其 他 采样 概率 
为 0 的 行为 , 无 法 知道 这 些 行为 的 好 坏 。 最 后 ,REINFORCE 算法 只 有 在 环境 存在 回合 概 
念 时 才能 够 使 用 。 如 果 环 境 不 存在 回合 的 概念 ，REINFORCE 算法 将 无 法 使 用 。 

最 近 ，DeepMind 提出 了 使 用 Deep Q-learning 算法 的 学 习 策略， 克服 了 REINFORCE 
算法 的 缺点 ， 在 Atari 游戏 学 习 这 样 的 复杂 的 任务 中 取得 了 令 人 惊喜 的 效果 。 
6.2.2 Deep Q-Learning 

Deep Q-Learning 是 一 种 基于 Q 函数 的 增强 学 习 算 法 。 该 算法 对 于 复杂 的 、 每 步行 为 
之 间 存 在 较 强 相关 性 的 环境 有 很 好 的 学 习 效 果 。Deep Q-Leaming 的 学 习 算 法 的 基础 是 
Bellman AX"), FRE 6.2.1 节 已 经 介绍 了 Q 函数 的 定义 。 

如 果 我 们 学 习 到 了 最 优 的 行为 对 应 的 Q 函数 Q(s,a)， 那 么 这 个 函数 应 该 满足 下 面 的 
Bellman 公式 。 

Q(s,a)=E,[r+ymax,'Q(s,a)|s,a] 

另外 , 如 果 我 们 学 习 到 了 最 优 的 行为 对 应 的 Q 函数 Qa), 那么 我 们 在 每 一 时 刻 得 到 
了 观察 s, 之 后 ， 可 以 选择 使 得 Q(s,q) 最 高 的 行为 作为 执行 的 行为 ao 

我 们 可 以 用 一 个 神经 网 络 计 算 Q 函数 ， 用 Q(s,a;w) 来 表示 ， 其 中 w 是 神经 网 络 的 参 
Ai, 我 们 希望 我 们 学 习 出 来 的 Q 函数 满足 Bellman 公式 , 因此 可 以 定义 下 面 的 损失 函数 。 
这 个 函数 的 Bellman 公式 的 L2 误差 如 下 。 

L(w)-E ([r*ymax,Q(s'.a;w)-Q(s,a;w)]2] 

其 中 + 是 在 s 的 观测 执行 行为 a 后 得 到 的 奖励 ，s' 是 执行 行为 a 之 后 下 一 个 时 刻 的 观 
测 。 这 个 公式 的 前 半 部 分 r+ymaxaQ(s',a'w) 也 被 称 为 目标 函数 。 我们 希望 预测 出 的 Q 函数 
能 够 和 通过 这 个 时 刻 得 到 的 奖励 和 下 个 时 刻 状 态 得 到 的 目标 函数 尽 可 能 接近 。 通 过 这 个 损 
失 函 数 ， 我 们 可 以 计算 出 如 下 梯度 : 

OL(w)Ow-E ([r*ymax;'Q(s',a';w)-Q(s,a;w)]OQ(s,a;wOw)] 
我 们 可 以 通过 计算 出 的 梯度 ， 使 用 梯度 下 降 算 法 更 新 我 们 的 参数 wo 
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使 用 深度 神经 网 络 逼近 Q 函数 存在 很 多 问题 。 首 先 ， 在 一 个 回合 内 采集 到 的 各 个 时 
刻 的 数据 是 存在 着 相关 性 的 。 因 此 , 如 果 我 们 使 用 了 一 个 回合 内 的 全 部 数据 , 那么 我 们 计 
算出 的 梯度 是 有 偏 的 。 其 次 ， 由 于 取出 使 Q 函数 最 大 的 行为 这 个 操作 是 离散 的 ， 即 使 Q 
函数 变化 很 小 , 我 们 得 到 的 行为 也 可 能 差别 很 大 。 这 个 问题 会 导致 训练 时 我 们 的 策略 出 现 
震荡 。 最 后 , Q 函数 的 动态 范围 有 可 能 很 大 , 并 且 我 们 很 难 预先 知道 Q 函数 的 动态 范围 。 
因为 当 我 们 对 一 个 环境 没有 足够 了 解 时 ， 很 难 计算 出 这 个 环境 中 可 能 得 到 的 最 大 奖励 。 
这 个 问题 可 能 会 使 Q-Learning 的 工程 中 的 梯度 很 大 ， 导 致 训练 不 稳定 。 


首先 ，Deep Q-Learning 算法 是 使 用 了 经 验 回 放 的 算法 。 这 个 算法 的 基本 思想 是 记 住 
算法 在 这 个 环境 中 执行 的 历史 信息 。 这 个 过 程 和 人 类 的 学 习 过 程 类 似 。 人 类 在 学 习 执行 行 
为 的 策略 时 , 不 会 只 通过 当前 执行 的 策略 的 结果 进行 学 习 , 还 会 利用 之 前 的 历史 执行 的 策 
略 的 经 验 进行 学 习 。 因 此 ,经 验 回 放 算 法 将 算法 在 一 个 环境 中 所 有 的 历史 经 验 都 存放 起 来 。 
在 学 习 的 时 候 , 可 以 从 经 验 中 采样 出 一 定数 量 的 跳 转 信息 (ssaosr+lsr+l)， 也 就 是 当下 所 处 
的 环境 信息 , 然后 利用 这 些 信息 计算 出 梯度 学 习 模型 。 因 为 不 同 的 跳 转 信息 是 从 不 同 的 回 
合 中 采样 出 来 的 , 所 以 它们 之 间 不 存在 强 相 关 性 。 这 个 采样 过 程 还 可 以 解决 同一 个 回合 中 
的 各 个 时 刻 的 数据 的 相关 性 问题 。 

mE, Deep Q-Learning 算法 使 用 了 目标 Q 网 络 解决 学 习 过 程 中 的 震荡 问题 。 我 们 可 
以 定义 一 个 目标 Q 网 络 Q(s%a';w-)， 这 个 网 络 的 结构 和 用 来 执行 的 Q 网 络 的 结构 完全 相 
同 ， 唯 一 的 不 同 就 是 使 用 的 参数 w- 不 同 。 我 们 的 目标 函数 可 以 通过 目标 Q 网 络 计算 。 

r^ymax,Q(s'a';w—) 

目标 Q 网 络 的 参数 在 很 长 时 间 内 保持 不 变 ， 每 当 在 Q 网 络 学 习 了 一 定 的 时 间 之 后 ， 
可 以 用 Q 网 络 的 参数 w 蔡 换 目 标 Q 网 络 的 参数 w-， 这 样 目 标 函 数 会 在 很 长 的 时 间 里 保 
持 稳定 ， 可 以 解决 学 习 过 程 中 的 震荡 问题 。 

最 后 ， 为 了 防止 Q 函数 的 值 太 大 导致 梯度 不 稳定 ，Deep Q-Learning 算法 对 奖励 设置 
了 最 大 值 和 最 小 值 (一 般 设 置 为 [-1, +1] )。 我 们 会 把 所 有 的 奖励 缩放 到 这 个 范围 ， 这 样 得 
法 计算 出 的 梯度 会 更 稳定 。 

Q-Leaming 算法 的 框图 如 图 6-2 所 示 。 
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”得 到 观测 和 奖励 
图 6-2 Q-Learning 算法 原理 图 


因为 使 用 了 深度 神经 网 络 来 学 习 Q 函数 ，Deep Q-Learning 算法 可 以 直接 以 图 像 作为 
输入 学 习 复杂 的 策略 , 其 中 一 个 例子 是 学 习 Atari 游戏 。Atari 游戏 是 计算 机 游戏 的 早期 形 
x. 一 般 图 像 比较 粗糙 ,但 是 要 玩 好 需要 对 图 像 进行 理解 ,并且 执行 出 复杂 的 策略 ,例如 
躲避 、 发 射 子弹 、 走 迷宫 等 。 一 些 Atari 游戏 的 例子 如 图 6-3 所 示 ， 我 们 注意 到 其 中 包含 
了 一 个 简单 的 赛车 游戏 。 名 


Deep Q-Leaming 算法 在 没有 任何 额外 知识 的 情况 下 ， 完 全 以 图 像 和 获得 的 奖励 进行 
输入 ， 在 大 部 分 Atari 游戏 中 都 大 大 超过 了 人 类 的 性 能 。 这 在 没有 深度 学 习 或 者 增强 学 习 
时 完全 是 不 可 能 完成 的 任务 。 Atari 游戏 是 第 一 个 用 Deep Q-Learning 解决 了 其 他 算法 都 无 
法 解决 的 问题 ， 充 分 显示 了 将 深度 学 习 和 增强 学 习 结 合 的 优越 性 和 前 景 。 





6-3 Atari 游戏 示例 
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6.3 ”使 用 增强 学 习 帮 助 决策 


现 有 的 深度 增强 学 习 解 决 的 问题 中 我 们 执行 的 行为 一 般 只 对 环境 有 短期 影响 。 例 如 ， 
在 Atari 的 赛车 游戏 中 ,我 们 只 需要 控制 赛车 的 方向 和 速度 让 赛车 沿 着 跑道 行驶 ， 并 且 同 
洲 其 他 赛车 就 可 以 获得 最 优 的 策略 , 但 是 对 于 更 复杂 决策 的 情景 , 我 们 无 法 只 通过 短期 的 
奖励 得 到 最 优 的 策略 , 一 个 典型 的 例子 是 走 迷 宫 。 在 走 迷 宫 这 个 任务 中 , 判断 一 个 行为 是 
否 是 最 优 的 行为 无 法 从 短期 的 奖励 得 到 , 只 有 当 最 终 走 到 终点 时 才能 得 到 奖励 。 在 这 种 情 
况 下 ， 直 接 学 习 出 正确 的 Q 函数 是 非常 困难 的 。 我 们 只 有 结合 基于 搜索 的 算法 和 基于 增 
强 学 习 的 算法 才能 有 效 地 解决 这 类 问题 。 

基于 搜索 的 算法 一 般 是 通过 搜索 树 实现 的 。 搜 索 树 既 可 以 解决 一 个 玩家 在 环境 中 探索 
的 问题 (例如 走 迷 富 )， 也 可 以 解决 多 个 玩家 竞争 的 问题 ( 例如 围棋 )。 我 们 以 围棋 为 例 ， 
讲解 搜索 树 的 基本 概念 。 围棋 游 戏 有 两 个 玩家 , 分 别 由 白 子 和 黑子 代表 。 一 个 围棋 棋盘 中 
线 的 交叉 点 是 可 以 下 子 的 地 方 。 两 个 玩家 分 别 在 棋盘 上 下 白 子 和 黑子 , 一 旦 一 片 白 子 或 时 
子 被 相反 的 颜色 的 子 包 围 ， 那 么 这 片子 就 会 被 提 掉 ， 重 新 成 为 空白 的 区 域 。 游 戏 的 最 后 ， 
当 所 有 的 空白 区 域 都 被 占领 或 者 包围 时 ， 占 领 和 包围 的 区 域 比较 大 的 一 方 获胜 。 


在 围棋 这 个 游戏 中 , 我 们 从 环境 中 得 到 的 观测 s, 是 棋盘 的 状态 , 也 就 是 白 子 和 黑子 的 
分 布 。 我们 执行 的 行为 是 所 下 的 白 子 或 者 黑子 的 位 置 。 我们 最 后 得 到 的 奖励 可 以 根据 游戏 
是 否 取胜 得 到 。 取 胜 的 一 方 得 到 的 奖励 是 +1， 失 败 的 一 方 得 到 的 奖励 是 -1。 这 个 游戏 的 
进程 可 以 通过 如 图 6-4 所 示 的 搜索 树 表示 。 搜 索 树 中 的 每 个 节点 对 应 着 一 种 棋盘 的 状态 。 
每 一 条 边 对 应 着 一 个 可 能 的 行为 。 黑 棋 先行 ， 树 的 根 节点 对 应 的 是 棋盘 的 初始 状态 so。 a 
和 o 对 应 黑 棋 的 两 种 可 能 的 落 子 位 置 (在 实际 的 围棋 中 ， 可 能 的 行为 远 比 两 种 多 )， 每 个 
行为 a; 对 应 着 一 个 新 的 棋盘 的 状态 sa。 接 下 来 该 白 棋 走 ， 白 棋 同样 有 两 种 走 法 bi 和 bz, 
对 于 每 个 棋盘 的 状态 si ， 两 种 不 同 的 走 法 又 会 生成 两 种 不 同 的 状态 。 如 此 往复 ， 一 直到 
游戏 结束 , 我 们 就 可 以 在 游戏 的 叶子 节点 中 获得 游戏 结束 时 黑 棋 获得 的 奖励 。 我 们 可 以 通 
过 这 些 奖 励 获得 最 佳 的 状态 。 
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图 6-4 搜索 树 算法 示例 


通过 这 个 搜索 树 ， 如 果 给 定 黑 棋 和 白 棋 的 策略 二 [xlr2]， 我 们 可 以 定义 黑 棋 的 值 函 
数 为 黑 棋 在 双方 分 别 执行 策略 xl 和 x2 时 ， 黑 棋 最 终 能 获得 奖励 的 期 望 值 。 


v(s)-E4[GSy5] 


黑 棋 需要 寻找 的 最 优 策略 需要 最 优化 最 坏 的 情况 下 黑 棋 所 能 得 到 的 奖励 ,我 们 定义 这 
个 值 函 数 为 最 小 最 大 值 函数 。 黑 棋 的 最 优 策略 就 是 能 够 达到 这 个 值 函 数 的 策略 x1。 


v(S)=maxriminzzyvr(S) 

如 果 能 够 穷 举 搜索 树 的 每 个 节点 ,那么 我 们 可 以 很 容易 地 用 递归 的 方式 计算 出 最 小 最 
大 值 函 数 和 黑 棋 的 最 优 策 略 。 但是, 在 实际 的 围棋 情况 中 , 每 一 步 黑 棋 和 白 棋 可 以 采用 的 
行为 的 个 数 非 常 多 , 而 搜索 树 的 节点 的 数目 是 随 着 树 的 深度 指数 增长 的 。 因此 , 我 们 无 法 
枚 举 所 有 的 节点 计算 出 准确 的 最 小 最 大 值 函 数 , 而 只 能 通过 学 习 v(s;w)~v(s) 作 为 近似 最 小 
最 大 值 函数 。 我 们 可 以 通过 两 种 方法 使 用 这 个 近似 函数 。 首先 , 我 们 可 以 使 用 这 个 近似 图 
数 确定 搜索 的 优先 级 。 对 于 一 个 节点 ,和 白 棋 或 者 黑 棋 有 可 能 有 多 种 走 法 , 我 们 应 该 优先 搜 
索 产 生 最 小 最 大 值 函数 比较 高 的 节点 的 行为 , 因为 在 实际 的 游戏 中 , 真实 的 玩家 一 般 会 选 
择 这 些 相 对 比较 好 的 行为 。 其 次 , 我 们 可 以 使 用 这 个 近似 函数 估计 非 叶 子 节 点 的 最 小 最 大 
(Ho 如果 这 些 节 点 的 最 小 最 大 值 非常 低 , 那么 这 些 节 点 几乎 不 可 能 对 应 着 最 优 的 策略 。 我 
们 再 搜索 时 也 不 用 考虑 到 这 些 节 点 。 


因此 , 我 们 的 主要 问题 是 如 何 学 习 到 近似 最 小 最 大 值 函数 v(s;w)。 我 们 可 以 使 用 两 个 
我 们 学 习 到 的 围棋 算法 自己 和 自己 玩 围棋 游戏 ,然后 通过 增强 学 习 的 算法 更 新 近似 最 小 最 
大 值 函数 的 参数 wo 在 玩 完了 一 局 游戏 之 后 , 我 们 可 以 使 用 类 似 REINFORCE 算法 的 更 新 
方式 : 
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Vw-a[G;-v(s;w)]V,.v(ssw) 


在 这 个 式 子 中 ，G, 表示 的 是 在 :时刻 之 后 获得 的 奖励 。 因 为 在 围棋 这 个 游戏 中 , 我们 
只 在 最 后 时 刻 获 得 奖励 ， 所 以 G 对 应 的 是 最 后 获得 的 奖励 。 我 们 也 可 以 使 用 类 似 Q 
-Learning 的 方式 用 TD 误差 更 新 参数 。 


Vu=al[v(syi3w)—v(s5w)]V,.v(s5w) 


在 围棋 这 个 游戏 中 ,我们 只 在 最 后 时 刻 获得 奖励 ， 一 般 使 用 REINFORCE 算法 的 更 
新 方式 的 效果 比较 好 。 在 学 习 出 一 个 好 的 近似 最 小 最 大 值 函数 之 后 , 我 们 可 以 大 大 地 加 快 
搜索 的 效率 , 这 和 人 学 习 围 棋 的 过 程 类 似 。 人 在 学 习 围 棋 的 过 程 中 会 对 特定 的 棋 行 形成 感 
觉 ,能够 一 眼 就 判断 出 棋 行 的 好 坏 ， 而 不 用 对 棋 的 发 展 进行 推理 。 这 就 是 通过 学 习 近 似 最 
小 最 大 值 函 数 加 速 搜索 的 过 程 。 


通过 学 习 近 似 最 小 最 大 值 函 数 , Google DeepMind 在 围棋 领域 取得 了 突飞猛进 的 进展 。 

在 2016 年 3 月 进行 的 比赛 中 ，DeepMind 的 AlphaGo 以 4 比 1 的 比分 战胜 了 围棋 世界 冠 
军 李 世 石 。 AlphaGo 的 核心 算法 就 是 利用 历史 棋局 和 自己 对 弈 , 从 而 学 习 近 似 最 小 最 大 值 
函数 的 算法 四 。AlphaGo 的 成 功 充分 展示 了 增强 学 习 和 搜索 的 结合 使 用 在 解决 涉及 长 期 规 
划 问 题 的 潜力 。 需要 注意 的 是 , 现 有 的 将 增强 学 习 和 搜索 结合 的 算法 只 能 用 于 确定 性 的 环 
境 中 。 确 定性 的 环境 中 给 定 一 个 观测 和 一 个 行为 , 下 一 个 观测 是 确定 的 , 并 且 这 个 转移 国 
数 是 已 知 的 。 在 环境 非 确定 , 并 且 转 移 函 数 未 知 的 情况 下 , 如 何 将 增强 学 习 和 搜索 结合 是 
增强 学 习 领 域 中 没有 解决 的 问题 。 


6.4 无 人 驾驶 的 决策 介绍 


无 人 驾驶 的 入 工 智能 包含 了 感知 、 决 策 和 控制 三 个 方面 。 感知 指 的 是 如 何 通过 摄像 头 
和 其 他 传感器 的 输入 解析 出 周围 环境 的 信息 ， 例 如 有 哪些 障碍 物 、 障 碍 物 的 速度 和 距离 、 
道路 的 宽度 和 曲率 等 。 这 个 部 分 是 无 人 驾驶 的 基础 , 是 当前 无 人 驾驶 研究 的 重要 方向 。 TE 
制 是 指 当 我 们 有 了 一 个 目标 ， 例 如 右 转 30 度 ， 如 何 通过 调整 汽车 的 机 械 参数 达到 这 个 目 
标 。 这 个 部 分 已 经 有 相对 比较 成 熟 的 算法 能 够 解决 , 不 在 本 文 的 讨论 范围 之 内 。 本 节 , 我 
们 着 重 讲解 无 人 驾驶 的 决策 部 分 。 

无 人 轰 驶 的 决策 是 指 给 定 感知 模块 解析 出 的 环境 信息 如 何 控制 汽车 的 行为 达到 驾驶 
的 目标 。 例 如 , 汽车 加 速 、 减 速 、 左 转 、 右 转 、 换 道 、 超 车 都 是 决策 模块 的 输出 。 决 策 模 
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块 不 仅 需 要 考虑 到 汽车 的 安全 性 和 舒适 性 , 保证 尽快 到 达 目 标 地 点 , 还 需要 在 旁边 的 车 辆 
恶意 的 情况 下 保证 乘客 的 安全 。 因 此 ， 决 策 模块 一 方面 需要 对 行车 的 计划 进行 长 期 规划 ， 
另 一 方面 需要 对 周围 车 辆 和 行人 的 行为 进行 预测 。 而 且 , 无 人 驾驶 中 的 决策 模块 对 安全 性 
和 可 靠 性 有 严格 的 要 求 。 现 有 的 无 人 驾驶 的 决策 模块 一 般 是 根据 规则 构建 的 。 虽 然 基于 规 
则 的 构建 可 以 应 付 大 部 分 的 驾驶 情况 , 对 于 萄 驶 中 可 能 出 现 的 各 种 各 样 的 突 发 情况 , 基于 
规则 的 决策 系统 不 可 能 枚 举 到 所 有 突 发 情况 ,我 们 需要 一 种 自 适应 的 系统 来 应 对 驾驶 环境 
中 出 现 的 各 种 突 发 情况 。 

基于 规则 的 决策 系统 大 部 分 可 以 用 有 限 状 态 机 表示 。 例如 , 无 人 轰 驶 的 高 层 行为 可 以 
分 为 向 左 换 道 、 向 右 换 道 、 跟 随和 紧急 停车 。 决 策 系统 根据 目标 可 以 决定 执行 高 层 行为 。 
根据 需要 执行 的 高 层 行为 , 决策 系统 可 以 用 相应 的 规则 生成 底层 行为 。 基于 规则 的 决策 系 
统 的 主要 缺点 是 缺乏 灵活 性 。 对 于 所 有 的 突 发 情况 , 基于 规则 的 决策 系统 都 需要 写 一 个 决 
策 。 这 种 方式 很 难 对 所 有 的 突 发 系统 面面俱到 。 


6.4.1 无 人 驾驶 模拟 器 


无 人 轰 驶 的 决策 过 程 中 , 模拟 器 起 着 非常 重要 的 作用 。 决策 模拟 器 负责 对 环境 中 常见 
的 场景 进行 模拟 , 例如 车 道 情 况 、 路 面 情况 、 障 碍 物 分 布 和 行为 、 天 气 等 。 同 时 还 可 以 将 
真实 场景 中 采集 到 的 数据 进行 回放 。 决策 模拟 器 的 接口 和 真 车 的 接口 保持 一 致 , 这 样 可 以 
保证 在 真 车 上 使 用 的 决策 算法 可 以 直接 在 模拟 器 上 运行 。 除了 决策 模拟 器 之 外 , 无 人 驾驶 
的 模拟 器 还 包含 了 感知 模拟 器 和 控制 模拟 器 ， 用 来 验证 感知 和 控制 模块 。 中 这些 模拟 器 不 
在 本 节 的 讨论 氛围 之 内 。 


无 人 和 驾驶 模拟 器 的 第 一 个 重要 的 功能 是 验证 功能 。 在 迭代 决策 算法 的 过 程 中 , 我 们 需 
要 比较 容易 地 衡量 算法 的 性 能 。 例如, 我 们 需要 确保 新 的 决策 算法 能 够 在 常见 的 场景 中 正 
确 安全 地 运行 。 我 们 还 需要 对 新 的 决策 算法 在 常见 场景 的 安全 性 、 快 捷 性 、 舒 适 性 进行 打 
分 。 我 们 不 可 能 每 次 更 新 算法 时 都 在 实际 的 场景 中 进行 测试 , 这 时 有 一 个 能 可 靠 反映 真实 
场景 的 无 人 区 驶 模拟 器 是 非常 重要 的 。 


模拟 器 的 另 一 个 重要 功能 是 进行 增强 学 习 。 通过 在 模拟 器 里 模拟 出 各 种 突 发 情况 , 增 
强 学 习 算法 可 以 利用 其 在 这 些 突 发 情况 中 获得 的 奖励 学 习 如 何 应 对 这 些 突 发 情况 。 这 样 ， 
我 们 只 要 能 够 模拟 出 足够 的 突 发 情况 ,我们 的 增强 学 习 算 法 就 可 以 学 习 到 对 应 的 突 发 情况 
的 处 理 方法 ,而 不 用 每 种 突 发 情况 都 单独 写 规则 处 理 。 if FL, 我 们 的 模拟 器 也 可 以 根据 之 
前 增强 学 习 对 于 突 发 情况 的 处 理 结 果 , 尽 量 产 生出 当前 的 增强 学 习 算 法 无 法 解决 的 突 发 情 
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况 ， 从 而 增强 学 习 的 效率 。 


Se LAR, 无 人 冶 驶 模拟 器 对 决策 模块 的 验证 和 学 习 都 有 着 至 关 重 要 的 作用 , 是 无 人 
驾驶 领域 的 核心 技术 。 如 何 创建 出 能 够 模拟 出 真实 场景 、 履 盖 大 部 分 突 发 情况 , 并 且 和 真 
实 的 汽车 接口 兼容 的 模拟 器 是 无 人 驾驶 研发 的 难点 之 一 。 


6.4.2 ”增强 学 习 在 无 人 驾驶 中 的 应 用 和 展望 


增强 学 习 在 无 人 驾驶 中 有 很 高 的 前 景 。 我 们 在 TORCS 模拟 器 中 使 用 增强 学 习 进 行 了 
探索 性 的 工作 。TORCS 是 一 个 赛车 的 模拟 器 。 玩 家 在 这 个 模拟 器 中 的 任务 是 超过 其 他 的 
AI 车 ， 以 最 快 的 速度 达到 终点 。 虽 然 TORCS 中 的 任务 和 真实 的 无 人 驾驶 的 任务 还 有 很 
大 的 区 别 ， 但 是 由 于 其 中 算法 的 评估 非常 容易 进行 ，TORCS 现在 常用 于 研究 无 人 驾驶 中 
的 增强 学 习 算 法 。TORCS 模拟 器 的 截图 如 图 6-5 所 示 。 增 强 学 习 算法 一 般 可 以 以 前 方 和 
后 方 看 到 的 图 像 作为 输入 , 也 可 以 以 环境 的 状态 作为 输入 ( 例如 自己 的 速度 、 离 赛 道 边缘 
的 距离 和 跟 其 他 车 的 距离 )。 





图 6-5 TORCS 模拟 器 运行 状态 截图 


我 们 这 里 使 用 了 环境 的 状态 作为 输入 ， 使 用 Deep Q-Learning 作为 学 习 算法 学 习 。 环 
境 的 奖励 定义 为 在 单位 时 刻 车 辆 沿 跑道 的 前 进 距 离 。 另 外 , 如 果 车 出 了 跑道 或 者 和 其 他 车 
辆 相 撞 ,会 得 到 额外 的 惩罚 。 环 境 的 状态 包括 了 和 车辆 的 速度 、 加 速度 、 离 跑道 的 左右 边缘 
的 距离 .和 跑道 的 切线 的 夹 角 、 在 各 个 方向 上 最 近 的 车 的 距离 等 。 车 的 行为 包括 向 上 换 挡 、 
向 下 换 挡 、 加 速 减速 、 向 左 打 方向 盘 、 向 右 打 方向 盘 等 。 


与 普通 的 Deep Q-Learning 相 比 ， 我 们 做 了 以 下 改进 。 首 先 ， 我 们 使 用 了 多 步 的 TD 
算法 进行 更 新 。 多 步 的 TD 算法 能 够 比 单 步 的 算法 每 次 学 习 时 看 到 更 多 的 执行 步 数 , 因此 
也 能 够 更 快 地 收敛 。 其 次 ， 我 们 使 用 了 Actor-Critic 的 架构 。Actor-Critic 将 算法 的 策略 函 
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数 和 值 函 数 分 别 用 两 个 网 络 表示 ， 这 样 的 表示 有 两 个 优点 。 
(1 ) 策略 函数 可 以 使 用 监督 学 习 的 方式 进行 初始 化 学 习 。 


(2 ) 在 环境 比较 复杂 时 , 学 习 值 函数 非常 困难 。 把 策略 函数 和 值 函数 分 开学 习 可 以 降 
低 策略 函数 学 习 的 难度 。 


使 用 了 改进 后 的 Deep Q-Learning 算法 ,我 们 学 习 到 的 策略 在 TORCS 中 可 以 实现 沿 
跑道 行走 、 换 道 、 超 车 等 行为 。 基 本 达到 TORCS 环境 中 的 基本 轰 驶 的 需要 。Google 
DeepMind 直接 使 用 图 像 作为 输入 ， 也 获得 了 很 好 的 效果 ， 但 是 训练 的 过 程 要 慢 很 多 。 


现 有 的 增强 学 习 算 法 在 无 人 轰 驶 的 模拟 环境 中 获得 了 很 有 希望 的 结果 ,但 是 可 以 看 到 ， 
如 果 需 要 增强 学 习 真 正 能 够 在 无 人 轰 驶 的 场景 下 应 用 ， 增 强 学 习 算 法 还 需要 有 很 多 改进 。 
第 一 个 改进 方向 是 增强 学 习 的 自 适应 能 力 。 现 有 的 增强 学 习 算法 在 环境 的 性 质 发 生 改 变 时 ， 
需要 试 错 很 多 次 才能 学 习 到 正确 的 行为 。 而 人 在 环境 发 生 改变 的 情况 下 , 只 需要 很 少 的 试 
错 就 可 以 学 习 到 正确 的 行为 ,如 何 只 用 非常 少量 的 样本 学 习 到 正确 的 行为 是 增强 学 习 能 够 
实用 的 重要 条 件 。 


第 二 个 重要 的 改进 方向 是 模型 的 可 解释 性 。 现 在 的 增强 学 习 中 的 策略 函数 和 值 函 数 都 
是 由 深度 神经 网 络 表示 的 。 深 度 神经 网 络 的 可 解释 性 比较 差 。 由 于 可 解释 性 差 , 在 实际 使 
用 中 出 了 问题 很 难 找 到 问题 的 原因 ， 也 比较 难 排 查 。 在 无 人 驾驶 这 种 人 命 关 天 的 任务 中 ， 
无 法 找到 问题 的 原因 是 完全 无 法 接受 的 。 


第 三 个 重要 的 改进 方向 是 推理 和 想象 的 能 力 。 很 多 时 候 , 人 在 学 习 的 过 程 中 不 需要 有 
一 定 的 推理 和 想象 的 能 力 。 例 如 , 在 鸭 驶 时 ， 人 们 不 用 自己 真正 尝试 , 也 知道 危险 的 行为 
会 带 来 毁灭 性 的 后 果 , 这 是 因为 人 类 对 这 个 世界 有 一 个 足够 好 的 模型 来 推理 和 想象 出 相应 
行文 可 能 会 发 生 的 后 果 。 这 种 能 力 不 仅 对 增强 学 习 算 法 在 存在 危险 行为 环境 中 的 表现 非常 
重要 ， 在 安全 的 环境 中 也 可 以 大 大 加 快 算法 收敛 的 速度 。 


只 有 在 这 些 方向 做 出 了 实质 性 的 突破 ,增强 学 习 才 能 真正 使 用 到 无 人 轰 驶 或 者 是 机 器 
人 这 种 重要 的 任务 场景 中 。 希望 更 多 的 有 志 之 士 能 够 投身 于 增强 学 习 的 研究 , 为 人 工 智能 
的 发 展 贡献 出 自己 的 力量 。 
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7.4. 规划 与 控制 简介 


无 人 车 作为 一 个 复杂 的 软 硬 件 结合 系统 ,其 安全 可 靠 运行 需要 车 载 硬 件 ,传感器 集成 、 
感知 、 预 测 , 以 及 控制 规划 等 多 个 模块 的 协同 配合 工作 。 作 者 认为 最 关键 的 部 分 是 感知 预 
测 和 控制 规划 的 紧密 配合 。 这 里 的 控制 规划 ( Planning & Control ) 在 广义 上 可 以 划分 成 无 
人 车 路 由 寻 径 (Routing ), 行为 决策 (Behavioral Decision ), 动作 规划 ( Motion Planning ), 
以 及 反馈 控制 (Feedback Control ) 等 几 个 部 分 ， 如 图 7-1 所 示 。 


控制 规划 模块 












行为 决策 
(Behavior Decision) 
宏观 指令 
Follow/Stop/Yield--- 
动作 规划 
(Motion Planning) 






地 图 定位 
(Map & Localization) N 


油门 、 加 速 、 刹 车 、 
Jr SEG A 


图 7-1 无 人 车 软件 系统 控制 规划 示意 


sjs.cn 000000 


第 一 本 无 人 驾驶 技术 书 





控制 规划 模块 的 最 上 游 是 路 由 寻 径 ( Routing ) 模块 ， 其 作用 在 简单 意义 上 可 以 理解 
为 实现 无 人 车 软件 系统 内 部 的 导航 功能 , 即 在 宏观 层面 上 指导 无 人 车 软件 系统 的 控制 规划 
模块 按照 什么 样 的 道路 行驶 ， 从 而 实现 从 起 始点 到 目的 地 点 。 值得 注意 的 是 , 这 里 的 路 由 
寻 径 虽然 在 一 定 程度 上 类 似 传统 的 导航 ,但 其 细节 上 紧密 依赖 于 专门 为 无 人 车 导航 绘制 的 
高 精度 地 图 ， 所 以 和 传统 的 导航 有 本 质 不 同 。 


路 由 寻 径 模块 产生 的 路 径 信息 , 直接 被 下 游 的 行为 决策 模块 所 使 用 。 这 里 的 行为 决策 
模块 ， 可 以 直观 地 理解 成 无 人 车 的 “ 副 驾 驶 ”"。 行为 决策 接收 路 由 寻 径 的 结果 ， 同 时 也 接 
收 感知 预测 和 地 图 信息 。 综合 这 些 输 入 信息 , 行为 决策 模块 在 宏观 上 决定 了 无 人 车 如 何 行 
驶 。 这 些 行 为 层面 的 决策 包括 在 道路 上 的 正常 跟 车 ， 在 遇 到 交通 灯 和 行人 时 的 等 待 避让 ， 
以 及 在 路 口 和 其 他 车 辆 的 交互 通过 等 .例如 ,路 由 寻 径 要 求 无 人 车 保持 在 当前 车 道 ( Lane ) 
行驶 , 当 感知 到 前 方 有 一 辆 正常 行驶 的 车 辆 时 , 行为 决策 的 一 个 决定 便 很 可 能 是 下 达 跟 车 
(follow) 命令 。 行 为 决策 模块 根据 具体 实现 不 同 ， 在 宏观 上 定义 的 输出 指令 集合 也 多 种 
多 样 。 实 现行 为 决策 模块 的 方法 相对 较 多 , 而 且 没 有 非常 严格 的 规则 要 遵循 。 实 际 上 , 在 
无 人 车 系统 设计 中 ， 行 为 决策 模块 有 时 被 设计 成 独立 的 逻辑 模块 中 ， 有 时 其 功能 在 某 
种 程度 上 和 和 下游 的 动作 规划 模块 融合 到 了 一 起 实现 中 S97。 


正 是 因为 行为 决策 和 动作 规划 需要 紧密 协调 配合 ,在 设计 实现 两 个 模块 时 的 一 个 重要 
的 基本 准则 是 , 行为 决策 模块 的 输出 逻辑 需要 和 下 游 的 动作 规划 模块 于 辑 配合 一 致 。 动 作 
规划 模块 ， 在 图 7-1 所 示 的 划分 中 ， 解 决 的 是 具体 的 无 人 车 动作 C Motion ) 的 规划 问题 。 
其 功能 可 以 理解 为 ， 在 一 个 较 小 的 时 空 区 域内 ,具体 解决 无 人 车 从 4 点 到 B 点 如 何 行驶 
的 问题 。 这 里 动作 规划 模块 需要 解决 的 问题 , 相对 行为 决策 需要 解决 的 问题 ,又 更 加 具体 
了 一 步 。 动作 规划 需要 具体 把 一 个 短暂 时 间 :内 从 4 到 8 的 中 间 路 径 点 做 出 规划 , 包括 选 
择 途 经 哪些 具体 的 路 径 点 ， 以 及 到 达 每 个 路 径 点 时 ， 无 人 车 需要 达到 的 速度 、 瑚 向、 加速 
度 ， 以 及 车 轮转 向 等 。 不 仅 如 此 , 动作 规划 还 需要 保证 两 点 : 一 是 在 后 续 时 间 内 ， 生 成 从 
4 到 好 的 时 空 路 径 需要 保持 一 定 的 一 致 性 ; 二 是 这 些 生 成 的 4 到 8 之 间 的 路 径 点 ， 包 括 
到 达 每 个 点 的 速度 、 朝 向 、 加 速度 等 ， 在 下 游 反 馈 控 制 的 车 辆 和 道路 的 物理 属性 范围 内 ， 
是 可 以 实际 操作 的 。 


从 图 7-1 中 可 以 看 到 ,为 了 了 解 所 处 的 周围 路 况 环 境 并 做 出 行为 决策 ,担当 “ 副 驾 驶 ” 
角色 的 行为 决策 模块 需要 感知 和 地 图 定位 的 输出 作为 输入 ( 图 中 实 线 )。 由 于 行为 决策 和 
动作 规划 模块 的 紧密 联系 , 一 般 在 系统 设计 时 , 我 们 也 会 同样 让 感知 和 地 图 定位 结果 接 入 
动作 规划 模块 。 这 样 相 对 元 余 的 设计 的 好 处 有 两 点 : 一 方面 , 如 果 仅仅 依赖 行为 决策 模块 
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作为 relay 传递 感知 结果 ,那么 在 行为 决策 模块 计算 完成 前 出 现 的 新 感知 物体 将 会 被 忽略 ， 
给 无 人 车 的 安全 带 来 隐患 ; 二 是 如 果 行为 决策 模块 出 现 了 问题 , 这 时 的 动作 规划 虽然 没有 
了 对 交规 和 四 周 环境 行为 层面 的 决策 , 但 仍然 拥有 感知 和 地 图 完整 信息 , 也 能 实现 最 基本 
的 避让 ， 捉 供 无 人 车 的 安全 性 。 


规划 控制 最 下 层 的 模块 是 反馈 控制 模块 。 这 是 一 个 直接 和 无 人 车 底层 控制 接口 
CAN-BUS 对 接 的 模块 ， 其 核心 任务 是 消化 上 层 动作 规划 模块 的 输出 轨迹 点 ,通过 一 系列 
结合 车 身 属性 和 外 界 物理 因素 的 动力 学 计算 ， 转 换 成 对 车 辆 Drive-By-Wire 控制 的 油门 、 
刹车 ,以 及 方向 盘 信 号 ,从 而 尽 可 能 地 控制 车 去 实际 执行 这 些 轨迹 点 。 反 馈 控制 模块 主要 
涉及 对 车 辆 自身 控制 ， 以 及 和 外 界 物理 环境 交互 的 建 模 。 


上 述 四 个 模块 便 是 无 人 车 控制 规划 软件 系统 的 最 主要 的 功能 模块 ,这 种 模块 的 划分 方 
法 ( 见 参 考 资料 [4] )， 非常 有 效 地 将 无 人 车 控制 规划 这 样 一 个 复杂 问题 按照 计算 逻辑 从 
抽象 到 具体 做 出 了 非常 合理 的 切 分 。 这 样 的 划分 使 得 每 个 模块 可 以 各 司 其 职 专注 解决 本 层 
次 的 问题 , 使 得 复杂 软件 系统 的 开发 工作 , 可 以 实现 并 行 化 和 模块 化 , 大 大 提高 了 开发 效 
率 ,这 是 这 一 划分 方法 的 优势 所 在 ,当然 随 之 而 来 的 问题 , 便 是 模块 之 间 的 协调 一 致 问题 ， 
其 中 最 重要 的 便 是 模块 之 间 计 算 结果 的 一 致 性 问题 。 本 质 上 , 行为 决策 、 动 作 规划 和 反馈 
控制 都 是 在 不 同 层面 解决 同一 个 问题 。 同 时 他 们 之 间 由 于 上 下 游 关系 的 存在 , 其 计算 结果 
又 互相 依赖 ,所 以 在 具体 设计 实现 各 个 模块 时 的 一 个 最 重要 的 准则 便 是 尽 可 能 保证 计算 结 
果 的 一 致 性 和 可 执行 性 。 行为 决策 模块 在 做 出 决定 时 , BUS AT AE PRUE RI BELA FY AE 
地 让 下 游 动作 规划 可 以 执行 。 动 作 规划 规划 的 轨迹 速度 也 应 当 严 格 在 下 游 反 馈 控 制 可 以 执 
行 的 范围 内 。 当 冲突 出 现时 , 一 个 普遍 的 解决 冲突 的 准则 是 尽 可 能 让 上 游 模块 去 解决 问题 
迁就 下 游 模块 ， 而 不 是 去 push 推动 下 游 模块 的 极限 。 

下 面 我 们 就 按照 图 7-1 中 的 模块 划分 , 按照 从 上 游 到 下 游 的 顺序 ,详细 介绍 每 个 模块 
需要 解决 的 问题 。 同时 我 们 对 于 每 个 模块 , 结合 其 需要 解决 问题 的 具体 场景 , 详细 介绍 一 
到 两 种 常见 算法 的 具体 实现 ,从 而 使 得 读者 对 整套 无 人 车 控制 规划 软件 系统 的 解决 方案 有 
一 个 全 面 又 具体 的 体验 。 


7.2 BB 


在 控制 规划 模块 的 最 上 游 是 路 由 寻 径 模块 ( 也 称 为 寻 径 模块 )。 这 里 的 路 由 寻 径 和 我 
们 常见 的 如 谷歌 或 者 百度 的 地 图 导航 有 着 显著 不 同 。 普 通 的 谷歌 或 者 百度 导航 解决 的 是 从 
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4 点 到 中 点 的 道路 层面 的 路 由 寻 径 问题 。 普 通 导航 其 底层 导航 的 元 素 最 小 可 以 具体 到 某 一 
条 路 的 某 一 个 车 道 。 这 些 道路 和 车 道 都 是 符合 自然 的 道路 划分 和 标识 的 。 无 人 车 路 径 规划 
的 Routing 寻 径 问题 , 虽然 也 是 要 解决 从 4 点 到 B 点 的 路 由 问题 , 但 由 于 其 输出 结果 并 不 
是 为 实际 的 驾驶 员 所 使 用 , 而 是 给 下 游 的 行为 决策 和 动作 规划 等 模块 作为 输入 , 其 路 径 规 
划 的 层次 要 更 加 深入 到 无 人 车 所 使 用 的 高 精 地 图 的 车 道 ( Lane ) 级 别 。 如 图 7-2 所 示 , 其 
中 的 箭头 线段 代表 高 精 地 图 级 别 的 道路 划分 和 方向 。Lane1,Lane,…,Lanes 构成 了 一 条 
Routing 输出 的 路 由 片段 序列 。 可 以 看 到 , 无 人 车 地 图 级 别 的 Lane 划分 并 非 和 实际 的 自然 
道路 划分 对 应 。 BAN, Lane», Lanes, Lane; 都 代表 了 由 地 图 定义 绘制 的 “虚拟 ”转向 Lane. 
类 似 地 ， 一 条 较 长 的 自然 道路 也 可 能 被 划分 为 若干 个 Lane ( 例如 Lane;,Lane, )。 








图 7-2 ”无 人 车 路 由 寻 径 模块 的 高 精 地 图 道路 级 别 路 由 寻 径 


作为 整体 无 人 车 控制 规划 系统 的 最 上 游 模块 ,路 由 寻 径 模块 的 输出 严格 依赖 无 人 车 高 
精 地 图 (HD-Map ) 的 绘制 。 在 高 精 地 图 定义 绘制 的 路 网 (Road Graph ) 的 道路 (Lane ) 
划分 的 基础 上 , 以 及 在 一 定 的 最 优 策 略 定义 下 , 路 由 寻 径 模块 需要 解决 的 问题 是 计算 出 一 
个 从 起 点 到 终点 的 最 佳 道路 行驶 序列 : 


((lane,start position,end posittion)) 


其 中 (lane,start_position,end_posittion); 我 们 称 作 一 个 Routing Segment ( 路 由 片段 ), 所 
在 的 道路 由 1ane 来 标识 ，start_position,end_posittion) 分 别 代表 在 这 条 路 由 上 的 起 始 纵向 距 
离 和 结束 纵向 距离 。 
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7.2.1 无 人 车 Routing 的 有 向 带 权 图 抽象 


无 人 车 寻 径 模块 和 普通 的 谷歌 或 者 百度 导航 不 同 , 无 人 车 Routing 所 考虑 的 不 仅仅 局 
限于 路 径 的 长 短 和 拥塞 情况 等 ， 还 需要 考虑 到 无 人 车 执行 某 些 特定 行驶 动作 的 难 易 程度 。 
例如 , 无 人 车 路 由 寻 径 可 能 会 尽量 避免 在 短 距离 内 进行 换 道 , 因为 无 人 车 的 规划 控制 算法 
出 于 安全 考虑 , 需要 的 换 道 空间 可 能 比 正 常 的 鸭 驶 员 驾 驶 所 需要 的 换 道 空间 更 大 。 从 安全 
第 一 的 原则 出 发 ， 无 人 车 Routing 模块 可 能 会 给 “ 换 道 ”路 径 赋予 更 高 的 权重 ( Cost )。 


我 们 可 以 把 无 人 车 在 高 精 地 图 的 Lane 级 别 寻 径 问 题 ， 抽 象 成 一 个 在 有 向 带 权 图 上 的 
最 短路 径 搜索 问题 。 路 由 寻 径 模块 首先 会 基于 Lane 级 别 的 高 精度 地 图 ， 在 一 定 范围 内 所 
有 可 能 经 过 的 Lane 上 进行 分 散 “ 撤 点 ”, 我 们 称 这 些 点 为 “Lane Point”。 这 些 点 代表 了 对 
无 人 车 可 能 经 过 的 Lane 上 的 位 置 的 抽样 。 这 些 点 与 点 之 间 ， 由 有 向 带 权 的 边 进行 连接 ， 
如 图 7-3 和 图 7-4 所 示 。 一 般 来 说 ， 在 不 考虑 倒车 这 一 特殊 情况 下 ，Lane Point 之 间 是 沿 
着 Lane 行进 方向 单 向 可 达 的 关系 。 连 接 Lane Point 之 间 边 的 权重 ， 代 表 了 无 人 车 从 一 个 
Lane Point 行驶 到 另 一 个 点 的 潜在 代价 。Lane Point 的 采样 频率 需要 保证 即使 是 地 图 上 被 
分 割 比较 短 的 Lane, 也 能 得 到 充分 的 采样 点 。Lane Point 之 间 的 连接 具有 局 部 性 ( Locality )。 
自然 同一 条 Lane 上 面 的 点 是 前 后 连接 的 , 但 值得 注意 的 是 ， 不同 Lane 之 间 的 Lane Point 
也 有 相互 连接 的 关系 。 一 个 明显 的 例子 是 ， 在 转弯 时 ， 转 弯 Lane 的 第 一 个 Lane Point 和 
其 前 驱 Lane 的 最 后 一 个 Lane Point 自然 连接 在 一 起 。 另 外 两 条 相 邻 的 平行 Lane， 在 可 以 
合法 进行 换 道 的 位 置 (比如 白色 虚线 位 置 )， 其 对 应 位 置 的 Lane Point 也 可 能 互相 连接 。 
图 7-3 给 出 了 几 个 典型 Lane 连接 场景 的 Lane Point 之 间 的 权重 设置 : 在 任何 一 个 Lane 的 
内 部 采样 点 Lane Point 之 间 , 我 们 把 cost 设置 为 1; 考虑 到 右 转 的 代价 低 于 左 转 , 我 们 把 
直行 接 右 转 的 cost 设置 为 5， 直行 接 左 转 的 cost 设置 为 8， 右 转 Lane 内 部 Lane Point 连 
接 cost 设置 为 2, 左 转 Lane 内 部 Lane Point 连接 cost 设置 为 3。 在 图 7-3 所 示 的 换 道场 景 
中 ， 两 条 平行 可 以 换 道 的 Lane， 每 条 Lane 内 部 的 连接 cost 依然 为 1， 但 为 了 突出 换 道 的 
代价 ， 我 们 把 相 邻 Lane 之 间 的 连接 权重 设置 为 10。 
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图 7-3 右 转 、 左 转 和 换 道 Lane 典型 连接 场景 下 Lane Point [8] cost 的 设置 


基于 Lane Point 的 有 向 带 权 图 上 的 最 短路 径 问 题 
? 
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图 7-4 无 人 车 寻 径 基 于 Lane Point 的 有 向 带 权 图 上 的 最 短路 径 问 题 抽 象 


按照 图 7-3 设置 的 cost， 在 图 7-4 所 示 的 一 个 路 网 (Road Graph) 下 ， 我 们 来 对 比 从 
A 到 B 两 个 可 能 不 同 的 路 由 路 径 Route 1 和 Route 2。 其 中 Route 1 对 应 从 Lane 1 HÈ, 
在 左下 角 的 路 口 处 直行 接 Lane 4, 之 后 右 转 ( Lane 5 ), 再 继续 直行 经 过 Lane 10 和 Lanell， 
最 后 直行 经 过 Lane 12 到 达 目 的 地 ;Route 2 对 应 同样 从 起 点 A 所 在 的 Lane 1 出 发 , 但 在 
左下 角 的 第 一 个 路 口 处 右 转 接 Lane 2， 然 后 直行 并 且 从 Lane 3 换 道 至 Lane 6， 在 右 下 角 
路 口 处 经 过 Lane 7 左 转 接 直行 (Lane 8 )， 最 后 在 右上 角 的 路 口 处 右 转 (Lane 9) 进入 最 
后 目的 地 B 所 在 的 Lane 12。 即 使 Route 2 的 实际 物理 长 度 小 于 Route 1， 按 照 图 7-3 设置 
的 cost, 无 人 车 Routing 也 会 偏向 于 选择 总 cost 较 小 的 Route 2( 假设 属于 不 同 Lane 的 Lane 
Point 之 间 的 连接 cost 除了 图 7-3 所 示 外 均 为 1， 读 者 可 以 验证 Route 1 的 总 cost 为 22， 
Route 2 的 总 cost 为 44 )。 


7.2.2 ”典型 无 人 车 路 由 寻 径 算法 


针对 7.1.1 介绍 的 无 人 车 Routing 有 向 带 权 图 的 最 短路 径 问 题 ， 我 们 介绍 两 种 常见 的 
无 人 车 Routing HIE: Dijkstra 算法 Bl 和 A* 算 法 四。 
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1. Dijkstra 算法 在 无 人 车 路 由 寻 径 中 的 应 用 


Dijkstra 算法 是 一 种 常见 的 图 论 中 的 最 短路 径 算 法 ， 由 Edsger W. Dijkstra 在 1959 年 
发 表 。 给 定 一 个 图 中 的 源 节点 (Source Node), Dijkstra 算法 会 寻找 该 源 节点 到 所 有 其 他 
节点 的 最 短路 径 。 结 合 无 人 车 路 由 的 Lane Point 场景 ， 算 法 的 描述 如 下 。 


C1) 从 高 精 地 图 的 路 网 数据 接口 中 读 取 一 定 范围 的 地 图 Lane 连接 数据 ， 按 照 72.1 
节 所 述 进行 Lane Point 抽样 并 构建 Lane Point Graph。 无 人 车 主 车 ( 也 称 作 Master Vehicle ) 
所 在 Lane 的 最 接近 的 Lane Point 为 源 节 点 , 目的 地 所 在 Lane 的 最 接近 的 Lane Point 为 目 
的 节点 。 设 置 源 节点 到 其 他 所 有 节点 (包括 目的 节点 ) 的 距离 为 无 穷 大 (inf )， 源 节点 到 
自身 的 距离 为 0。 


(2) 当前 节点 设置 为 源 Lane Point， 设 置 其 他 所 有 Lane Point 7j unvisited ( 未 访问 ) 
并 且 放 到 一 个 集合 中 (CUnvisited Set )， 同 时 维护 一 个 前 驱 节 点 的 映射 prev_map， 保 存 每 
一 个 visited 的 Lane Point 到 其 前 驱 Lane Point 的 映射 。 


(3) 从 当前 Lane Point 节点 出 发 ， 考 虑 相 邻 能 够 到 达 的 所 有 未 访问 的 Lane Point, + 
算 可 能 的 距离 ( Tentative Distance ). 例如 , 当前 Lane Point X 被 标记 的 距离 为 3, Lane Point 
X 到 Lane Point Y 的 距离 为 5， 那 么 可 能 的 距离 为 3+5=8。 比 较 该 tentative distance JJ Y 
的 当前 标记 距离 。 如 果 Y 的 当前 标记 距离 较 小 ， 那 么 保存 Y 的 当前 标记 距离 不 变 ， 和 否则 
更 新 Y 的 当前 标记 距离 为 这 个 新 的 tentative distance 并 且 更 新 prev_map。 


(4) 对 当前 Lane Point 的 所 有 连接 的 unvisited Lane Point 重复 上述 步 双 3 的 操作 ， 当 
所 有 相连 接 的 Lane Point 均 被 操作 过 之 后 ， 标 记 当 前 的 Lane Point 为 已 经 visited， 从 
unvisited 的 集合 中 去 除 。 已 经 被 visited 的 Lane Point 的 标记 距离 将 不 再 被 更 新 。 


( 5 ) 不 断 从 unvisited [I Lane Point 集合 中 选取 Lane Point 作为 当前 节点 并 重复 步骤 4， 
直到 我 们 的 目标 Lane Point 被 从 unvisited 集合 中 去 除 ; 或 者 在 一 定 范围 内 的 Lane Point 
均 已 经 无 法 到 达 ( unvisited 集合 中 最 小 的 tentative distance 为 无 穷 大 , 代表 从 源 Lane Point 
TAAR FRATA unvisited Lane Point )。 此 时 , 需要 返回 给 下 游 模 块 没有 可 达 路 径 ( 寻 
径 失败 )， 或 者 重新 读 入 更 大 范围 的 地 图 路 网 数据 重新 开始 寻 径 的 过 程 。 


C6) 当 找 到 从 4 到 她 的 最 短路 径 后 ， 根 据 prev_map 进行 Lane 序列 重 构 。 


基于 Dijkstra 算法 的 Lane Point 有 向 带 权 图 上 的 Routing 算法 伪 码 如 图 7-5 所 示 。 其 
中 第 2 到 16 行 是 典型 的 Dijkstra 算法 构建 每 个 源 Lane Point 到 其 他 每 个 Lane Point 的 最 小 
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距离 表 。 之 后 从 第 17 至 22 行 , 根据 得 到 的 每 个 节点 标记 的 最 小 距离 映射 , 通过 不 断 查 找 
前 驱 的 prev map 映射 重建 最 短路 径 。 注 意 这 里 的 最 短路 径 是 一 个 Lane Point 的 序列 ， 在 
第 23 行 我 们 对 Lane Point 按照 lane 进行 聚 类 合并 最 终生 成 如 {(lane,start_position， 
end_posittion))} 格 式 的 Routing 输出 。 


1 function Dijkstra Routing(LanePointGraph(V.E), src, dst) 
2 create vertex set Q 

3 create map dist, prev 

4 for each lane point v in V: 
5 dist[v] = inf 
6 

7 

8 


prev») = nullptr 
add vto Q 
dist[src] =0 
9 while Q is not empty: 
10 u = vertex in Q s.t. díst[u) is the minimum 
Il remove u from Q 
12 for each connected lane point v of u: 
13 candidate = dist[u] + cost(u, v) 
14 if candidate < disi[v]: 
15 dist{v] = candidate 
16 previv] = u; 
17 ret = empty sequence 
18 u = dst 
19 while prev[u] {= nullptr: 
20 insert u at the beginning of ret 
21 u = prev[u] 


22 insert u at the beginning of ret 
23 merge lane point in ret with same lane id and return the merged sequence 


图 7-5 基于 Dijkstra 算法 和 Lane Point 网 络 的 路 由 寻 径 算法 


假设 根据 7.2.1 节 所 描述 的 Lane Point 有 向 带 权 图 生成 方法 的 图 有 VV 个 节点 和 E 条 边 。 


在 使 用 minimum priority queue 来 优化 第 10 行 的 最 小 距离 查找 的 情况 下 , Dijkstra ff) Routing 
算法 复杂 度 可 以 达到 oO(|g|+|Vllog|V|)。 


2. A* 算 法 在 路 径 规划 上 的 应 用 


男 一 种 在 无 人 车 路 由 寻 径 中 常用 的 算法 是 A* 算 法 。A* 算 是 一 种 启发 式 的 搜索 算法 。 
A* 算 法 在 某 种 程度 上 和 广度 优先 搜索 ( BFS )、 深 度 优先 搜索 (DFS) 类 似 ， 都 是 按照 一 
定 的 原则 确定 如 何 展开 需要 搜索 的 节点 树 状 结构 。A* 可 以 认为 是 一 种 基于 “优点 ”( best 
first/merit based ) 的 搜索 算法 。 


A* 算 法 首先 会 维护 一 个 当前 可 能 需要 搜索 展开 的 节点 集合 ( openSet )。 每 次 循环 ， 
A* 会 从 这 个 openSet 中 选取 cost 最 小 的 节点 进行 展开 来 继续 深入 搜索 ， 这 个 cost 由 
f(v)2 g(v)+h(v) 两 部 分 组 成 。 在 A* 算 法 的 搜索 树 结构 中 , 每 个 节点 vy 都 有 一 个 由 源 点 到 
该 节点 的 最 小 cost, 记 为 g(v) ;同时 每 个 节点 Vy 还 对 应 一 个 启发 式 的 cost 称 之 为 heuristic ), 
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记 为 h(v) ; 其 中 有 hh(v) 作为 一 个 heuristic， 用 来 估计 当前 节点 vy 到 目标 节点 的 最 小 cost, 4 
heuristic h(v) 满 足 一 定 的 属性 时 ，A* 能 够 保证 找到 源 节 点 到 目的 节点 的 最 短路 人 径 。A* 
算法 的 搜索 树 在 每 次 循环 中 都 会 展开 f(v)= g(v)+h(v) 最 小 的 节点 ， 直 到 到 达 目 的 节点 。 
A* 的 详细 算法 如 图 7-6 所 示 。 其 中 算法 第 11 行 的 reconstruct. route 部 分 类 似 于 Dijkstra 算 
法 最 后 的 路 由 重 构 部 分 。reconstruct_route 从 最 后 的 目的 节点 出 发 ， 通 过 前 驱 节 点 的 映射 
prev. map 向 前 重 构 出 最 终 的 路 由 寻 径 输出 。 

A* 算 法 作为 一 种 启发 式 ( heuristic based ) 的 搜索 算法 ， 当 h(v) 的 定义 满足 admissible 
EEO, E h(v,dst) 不 会 超过 实际 的 h(v,dst) 之 间 的 最 小 cost 时 ， 总 是 能 找到 最 短 的 路 径 。 
当 heuristic 不 满足 这 一 条 件 时 , A* 并 不 能 保证 找到 最 短路 径 。 在 7.2.1 节 描 述 的 Lane Point 
有 向 带 权 图 场景 下 ， 对 于 任意 两 个 Lane Point A fl B, —#} heuristic 启发 函数 的 定义 为 : 





h(u,v)-dist(u,v) 
其 中 dist0 代 表 两 个 Lane Point 之 间 在 地 球 经 纬度 或 者 墨 卡 托 "" 坐 标 系 下 的 距离 。 


i function AStar. Routing(LanePointGraph(V.E), src, dst) 

2 create vertex set closedSet // set of already visited nodes 
3 create vertex set openSet // set of nodes to be expanded 
4 insert src into openSet 

5 create map gScore, fScore with default value inf 

6 create prev map with default value nullptr 

7  fScore|src] = h(src, dst) 

8 


while openSet is not empty: 
9 current = the node v in openSet s.t. fScore[v] is minimum in openSet 
10 if current = dst 
11 return reconstruction route(prev. map, current) 
12 remove current from openSet 
13 insert current into closedSet 
14 for each neighbor u of current: 
15 if u is in closedSet: 
16 continue; // ignore the neighbor who has already been evaluated 
17 candidate, score = gScore[current] + h(current, u) 
18 if u not in openSet: // discovered a new node 
19 insert u into openSet 
20 else if candidate score >= gScore[u]: //this is not a better path 
21 continue; 
22 prev[u] = current 
23 gScore|u] = candidate score 
24 JScore[u] = gScore[u] + h(u, dst) 


图 7-6 A* 算 法 伪 码 


A* 作 为 一 种 最 优优 先 算法 ( Best First ), 可 以 看 作 是 Dijkstra 算法 的 一 种 扩展 。 Dijkstra 
算法 可 以 看 成 是 A* 算 法 中 启发 函数 有 (wv)=0 的 一 种 特例 。 
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7.2.8 BASE cost 设置 和 强 弱 路 由 寻 径 


在 实际 的 无 人 车 路 由 寻 径 计算 问题 中 , 往往 更 重要 的 不 是 算法 的 选择 , 而 是 路 权 ( cost ) 

的 设置 策略 。 在 7.2.1 节 中 描述 的 cost 调整 是 整个 路 由 寻 径 策略 的 精 肯 所 在 ， 而 具体 的 算 
法 实现 (A* 或 者 Dijkstra) 往往 并 不 是 最 重要 的 。 比 如 从 地 图 信息 我 们 得 知 某 一 条 道路 的 
某 一 条 Lane 非常 拥堵 ， 那 么 可 以 把 进入 这 条 Lane 上 的 Lane Point 之 间 的 连接 权重 cost 
提高 ; 类 似 地 , 如 果 某 条 Lane 被 交通 管制 不 能 通行 , 我 们 也 可 以 相应 地 把 这 条 Lane 上 的 
Lane Point 设置 为 互相 不 可 达 ， 从 而 使 得 算法 不 会 去 选择 某 条 特定 的 Lane。 路 由 寻 径 的 
Lane Point 之 间 的 cost 可 以 根据 不 同 策略 实时 灵活 调整 ,为 无 人 车 路 由 寻 径 提供 支持 。 考 
虑 到 实际 的 路 网 数据 往往 较 大 ， 基 于 Lane Point 有 向 带 权 图 的 最 短路 径 往往 是 在 提前 pre 
load 的 部 分 地 图 路 网 数据 上 进行 的 。 如 果 出 现在 较 小 范围 内 不 可 达 的 情况 , 可 能 需要 重新 
读 入 更 大 的 路 网 和 地 图 数据 进行 重新 路 由 寻 径 。 


对 路 由 寻 径 模块 产生 路 由 计算 的 请 求 , 有 两 种 情况 : 一 是 当 无 人 车 开始 行驶 时 ,由 用 
户 来 设置 起 点 到 终点 ,从 而 触发 路 由 寻 径 请 求 ; 另 一 种 情况 中 ,请求 是 由 下 游 模块 发 起 的 。 
这 里 我 们 讨论 “ 强 Routing” 和 “ 弱 Routing” 两 种 系统 设计 。“ 强 Routing” 指 的 是 下 游 模 
块 ( 如 Behavior Decision 及 Motion Planning ) 等 严格 遵守 路 由 寻 径 模块 的 输出 。 例 如 路 由 
寻 径 模块 要 求 按照 某 条 Lane X 行驶 , 但 感知 发 现 Lane X 上 有 一 个 非常 慢 的 障碍 车 辆 , 在 
强 路 由 的 设计 下 ,无 人 车 会 严格 执行 在 Lane X 上 行驶 ; 但 在 “ 弱 Routing” 的 设计 下 , 无 
人 车 可 能 会 短暂 跨越 到 相 邻 的 Lane, 超过 障碍 车 辆 , 再 回 到 Lane X 继续 行驶 。 无 论 是 “ 强 
Routing” Æ “JJ Routing"， 当 出 现 需要 紧急 避让 ， 或 者 周围 交通 情况 导致 无 人 车 无 法 
执行 当前 的 路 由 寻 径 结果 时 , 无 人 车 会 按照 安全 第 一 的 原则 继续 行驶 , 并 且 发 起 重新 路 由 
寻 径 的 请 求 。 

















7.3 行为 决策 


行为 决策 层 在 整个 无 人 车 规划 控制 软件 系统 中 扮演 着 “ 副 驾 驶 ”的 角色 。 这 个 层面 汇 
集 了 所 有 重要 的 车 辆 周边 信息 , 不 仅 包括 了 无 人 车 本 身 的 当前 位 置 、 速 度 、 朝 向 ， 以 及 所 
处 车 道 , 还 收集 了 无 人 车 一 定 距 离 以 内 所 有 重要 的 感知 相关 的 障碍 物 信息 。 行为 决策 层 需 
要 解决 的 问题 , 就 是 在 知晓 这 些 信息 的 基础 上 , 决定 无 人 车 的 行驶 策略 。 这 些 信息 具体 包 
TRE Ple 


(1) 所 有 的 路 由 寻 径 结果 : 比如 无 人 车 为 了 到 达 目 的 地 ， 需 要 进入 的 车 道 是 什么 
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( target lane ). 


(2) 无 人 车 的 当前 自身 状态 : 车 的 位 置 、 速 度 、 朝 向 ， 以 及 当前 主 车 所 在 的 车 道 、 按 
照 寻 径路 由 需要 进入 的 下 一 个 车 道 等 。 


(3) 无 人 车 的 历史 信息 : 在 上 一 个 行为 决策 周期, 无 人 车 所 做 出 的 决策 是 什么 ? JR 
车 、 停 车 、 转 榨 或 者 是 换 道 ? 


(4) 无 人 车 周边 的 障碍 物 信息 : 无 人 车 周边 一 定 距离 范围 内 的 所 有 障碍 物 信息 。 例如 
周边 的 车 辆 所 在 的 车 道 ， 邻 近 的 路 口 有 哪些 车 辆 ,它们 的 速度 、 位 置 如 何 , 以 及 在 一 个 较 
短 的 时 间 内 它们 的 意图 和 预测 的 轨迹 , 周边 是 否 有 自行 车 或 者 行人 , 以 及 他 们 的 位 置 、 速 
HER. Puke. 


(5) 无 人 车 周边 的 交通 标识 信息 : 一 定 范围 内 的 Lane 的 变化 情况 。 比 如 路 由 寻 径 的 
结果 是 在 Lane 1 的 纵向 位 移 10m 处 换 道 进入 对 应 的 相 邻 Lane 2 的 纵向 位 移 20m 处 ， 那 
么 Lane 1 的 合法 的 纵向 位 移 换 道 空间 是 多 大 ?比如 从 一 个 直行 Lane 行驶 结束 , 需要 进入 

下 一 个 左 转 Lane， 两 条 Lane 的 交界 处 是 否 有 红绿灯 或 者 人 行道 ? 


(6) 当地 的 交通 规则 : 例如 道路 限 速 ， 是 否 可 以 红 灯 右 抛 等 。 


无 人 车 的 行为 决策 模块 , 就 是 要 在 上 述 所 有 信息 的 基础 上 , 做 出 如 何 行驶 的 决策 。 可 
以 看 出 , 无 人 车 的 行为 决策 模块 是 一 个 信息 汇聚 的 地 方 。 由 于 需要 考虑 如 此 多 种 不 同类 型 
的 信息 及 受到 非常 本 地 化 的 交规 限制 ,行为 决策 问题 往往 很 难 用 一 个 单纯 的 数学 模型 解决 。 
往往 更 适合 行为 决策 模块 的 解决 方法 ,是 利用 一 些 软件 工程 的 先进 观念 来 设计 一 些 规则 系 
统 。 例 如 在 DARPA 无 人 车 竞赛 中 ，Stanford 的 无 人 车 系统 “Junior” 利 用 一 系列 cost i 
计 和 有 限 状 态 机 (Finite State Machine ) 来 设计 无 人 车 的 轨迹 和 操控 指令 。 类 似 地 ，CMU 
的 无 人 车 系统 “Boss”035109 通 过 计算 分 析 Lane 之 间 的 空隙 (Gap )， 并 且 按 照 一 定 规则 和 
一 些 预 设 的 国 值 比较 决定 换 道 这 一 行为 的 触发 。 其 他 很 多 的 参赛 系统 如 Odin 和 Virginia 
Tech 也 都 利用 了 规则 引擎 来 决定 无 人 车 的 轰 驶 行为 。Carolo 团队 则 是 结合 了 规则 引擎 和 
行为 模型 ,建立 了 一 个 混合 的 无 人 车 决策 系统 。 随 着 对 无 人 车 研究 兴趣 的 广泛 发 展 和 研究 
的 深入 , 越 来 越 多 的 研究 结果 外 开始 使 用 一 些 Bayesian 模型 对 无 人 车 行为 进行 建 模 。 其 中 
MDP( Markov Decision Process ) 和 POMDP( Partially Observable Markov Decision Process ) 
都 是 在 学 术 界 最 为 流行 的 无 人 车 行为 决策 建 模 方法 ,我 们 将 在 本 节 简 单 介 绍 几 种 基于 
MDP 的 无 人 车 行为 决策 方式 ,虽然 MDP 类 的 非 deterministic 概率 模型 在 学 术 界 渐渐 流行 ， 
但 笔者 从 工业 界 的 实际 应 用 经 验 出 发 ， 认 为 基于 规则 的 决定 性 ( Deterministic ) 行为 决策 系 
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统 仍 然 是 目前 工业 界 的 主流 。 本 节 将 介绍 一 种 利用 分 治 (Divide and Conquer) 思想 来 设 
计 的 基于 规则 的 行为 决策 实现 。 事 实 上 , 如 果 能 够 用 先进 的 软件 工程 实现 结合 交规 和 周边 
路 况 的 行为 决策 ,作者 认为 Deterministic 的 规则 系统 甚至 可 能 在 安全 可 靠 性 上 优 于 基于 概 
率 模型 的 实现 方式 。 设 想 实 际 人 类 驾驶 员 是 如 何 按照 一 个 固定 的 路 线 从 A 点 开 到 B. 点 。 

因为 交通 规则 是 明确 并 且 是 可 以 具体 执行 的 , 所 以 作者 认为 在 宏观 层面 的 驾驶 行为 , 在 给 
定 的 周边 路 况 下 ， 按 照 交规 要 求 和 自身 的 意图 ， 可 以 看 成 是 完全 基于 规则 的 决定 性 行为 。 


7.3.1 有 限 状 态 马 尔 可 夫 决 策 过 程 
一 个 马尔 可 夫 决 策 过 程 ， 由 下 面 的 五 元 组 定义 : (S, 4, Pa Ra r)o 


CL) $ 代 表 了 无 人 车 所 处 的 有 限 的 状态 空间 ,状态 空间 的 划分 可 以 结合 无 人 车 当前 位 
置 及 其 在 地 图 上 的 场景 进行 设计 :例如 在 位 置 维度 可 以 考虑 将 无 人 车 按照 当前 所 处 的 位 图 
划分 成 等 距离 的 格子 ; 参考 地 图 的 场景 , 可 以 将 无 人 车 所 处 的 车 道 和 周边 道路 情况 归纳 到 
有 限 的 抽象 状态 中 。 


(224 代表 了 无 人 车 的 行为 决策 空间 , 即 无 人 车 在 任何 状态 下 的 所 有 行为 空间 的 集合 : 
例如 , 可 能 的 状态 空间 包括 当前 Lane 跟 车 ( Follow ), 换 道 ( Change Lane ), 左 / 右 转 ( Turn 
Left/Right )、 路 口 的 先后 关系 ( Yield/Overtake )、 遇 到 行人 或 者 红绿灯 时 的 停车 ( Stop ) 等 。 


(3) Ps(s,s”)=P(s'|ls,a) 是 一 个 条 件 概 率 ， 代 表 了 无 人 车 在 状态 s 和 动作 a 下 ， 到 达 下 一 
个 状态 s' 的 概率 。 


(4) Ra(s,s) 是 一 个 激励 函数 ( Reward )， 代 表 了 无 人 车 在 动作 a 下 ， 从 状态 s 到 状态 
s 引 所 得 到 的 激励 。 该 激励 函数 的 设计 可 以 考虑 安全 性 、 舒 适 性 , 以 及 下 游 动作 规划 ( Motion 
Planning ) 执行 难度 等 因素 综合 设计 。 

(5) ye (0,1) 是 激励 的 衰减 因子 ,下 一 个 时 刻 的 激励 便 按 照 这 个 因子 进行 衰减 ; 在 任 
何 一 个 时 间 ， 当 前 的 激励 系数 为 1， 下 一 个 时 刻 的 激励 系数 为 y， 下 两 个 时 刻 的 激励 系数 
为 ， 依 此 类 推 。 其 含义 是 当前 的 激励 总 是 比 未 来 的 激励 重要 。 

无 人 车 行为 决策 层面 需要 解决 的 问题 , 在 上 述 MDP 的 定义 下 ,可 以 正式 描述 为 寻找 
一 个 最 优 “ 策 略 ”， 记 为 :8 一 4。 在 任意 给 定 的 状态 5 下 ， 策 略 会 决定 产生 一 个 对 应 的 
行为 a= x(s)。 当 策略 确定 后 ， 整 个 MDP 的 行为 可 以 看 成 是 一 个 马尔 可 夫 链 。 行 为 决策 
的 策略 赦 的 选取 目标 是 优化 从 当前 时 间 点 开始 到 未 来 的 累积 激励 ( 如 果 Reward 是 随机 变 
量 ， 则 优化 累积 Reward 的 期 望 ): 
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YR, (SoS) ， 其 中 action 是 由 策略 元 产生 a= a(s) 
1=0 
在 上 述 马 尔 可 夫 决 策 过 程 定义 下 ， 最 优 策略 x 通常 可 以 用 动态 编程 ( Dynamic 
Programming ) 的 方法 求解 。 假 设 转移 矩阵 P 和 激励 分 布 R 已 知 ， 最 优 策略 的 求解 通常 都 
是 基于 不 断 计 算 和 存储 如 下 两 个 基于 状态 s 的 数组 : 


n(s,) — TUN I Pa (Sts St41)(RalSts St+1) + wad] 


St+1 


V(sr) = 2: Prs,) (Se, St+1) (Raso (St St+1) + YV (Sea1)) 

其 中 数组 Vis OR TARA RAR ( 期 望 ) 激励 ，z(s) 代 表 需 要 求解 的 策略 。 
具体 的 求解 过 程 可 以 是 在 所 有 可 能 的 状态 s 和 s' 之 间 进 行 重复 迭代 计算 , 直到 二 者 收敛 为 
IE. 更 进一步， 在 Bellman 的 Value Iteration 算法 中 ，x(s,) 不 需要 进行 显 式 的 计算 ,而 是 
可 以 将 其 必要 的 计算 包括 在 Vs,) 的 计算 中 , 因此 可 以 得 到 如 下 的 Value Iteration 的 单 步 迭 


V... (s) € max (9 P. (s, s'(R, (s,s')- V (s) 


其 中 ;代表 迭代 步骤 ,在 i0 时 使 用 一 个 初始 猜测 Vo(s) 开 始 迭 代 ， 直 到 Kl(s) 的 计算 趋 
于 稳定 为 止 。 由 于 利用 MDP 建 模 解决 无 人 车 行为 决策 的 方法 比较 多 样 ， 本 书 在 这 里 不 再 
著述 所 有 的 基于 马尔 可 夫 决 策 过 程 的 行为 决策 方法 ， 读 者 可 以 参考 参考 文献 中 的 [2][3] 来 
了 解 具体 的 状态 空间 、 动 作 空 间 ， 以 及 转移 概率 和 Reward 函数 的 实现 举例 。 需 要 强调 的 
是 ， 利 用 MDP 解决 无 人 车 行为 决策 的 最 关键 部 分 在 于 激励 函数 R 的 设计 。 在 设计 这 一 
Reward 函数 时 ， 需 要 尽 可 能 考虑 如 下 因素 。 


(1) 到 达 目 的 地 :“ 鼓 励 ” 无 人 车 按照 既定 的 路 由 寻 径 路 线 行进 到 达 目 的 地 ， 也 就 是 
说 ， 如 果 选 择 的 动作 a = rz(s) 会 使 得 无 人 车 有 可 能 偏离 既定 的 路 由 寻 径 路 线 ， 那 么 应 当 给 
了 予 对 应 的 惩罚 。 

(2) 安全 性 和 避免 碰撞 : 按照 前 文 所 述 , 如 果 将 无 人 车 周边 的 空间 划分 成 等 间距 的 方 
d&. 那么 远离 可 能 有 碰撞 的 方 格 应 当 得 到 奖励 ， 接 近 碰 撞 发 生 时 ， 应 当 加 大 惩罚 。 

(3) 乘坐 的 舒适 性 和 下 游 执 行 的 平滑 性 ( smoothness ): 这 两 个 因素 往往 是 一 致 的 。 
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乘坐 的 舒适 往往 意味 着 安全 顺畅 的 操作 。 例 如 从 某 一 个 速度 状态 到 一 个 比较 接近 的 速度 状 
态 的 a= a(s), FE cost 应 该 较 小 ; 反之 ， 如 果 独 打 方 向 盘 或 者 猛然 加 速 ， 这 个 a= x(s) 的 
action， 对 应 的 cost 就 应 该 比较 高 ( 负 向 Reward )。 


正 是 因为 利用 马尔 可 夫 概 率 模型 的 MDP 需要 如 此 细致 地 设计 诸如 状态 空间 、 转 移 概 
率 和 激励 函数 等 参数 , 作者 认为 基于 规则 的 宏观 行为 决策 系统 是 一 种 更 可 靠 的 设计 , 下面 
我 们 介绍 一 种 利用 场景 分 割 无 人 车 周边 环境 ， 通 过 构建 子 场景 并 加 以 Rule 运用 的 行为 决 
策 系 统 设 计 。 


7.3.2 ”基于 场景 划分 和 规则 的 行为 决策 设计 


这 里 我 们 介绍 一 种 基于 规则 的 无 人 车 行为 决策 层 的 设计 ,其 核心 思想 是 利用 分 治 的 原 
则 将 无 人 车 周边 的 场景 进行 划分 。 在 每 个 场景 中 , 独立 运用 对 应 的 规则 来 计算 无 人 车 对 每 
个 场景 中 元 素 的 决策 行为 , 再 将 所 有 划分 的 场景 的 决策 进行 综合 , 得 出 一 个 最 后 综合 的 总 
体 行为 决定 。 我 们 先 引入 几 个 重要 概念 : 综合 行为 决策 (Synthetic Decision )、 个 体 行为 
决策 (Individual Decision )， 以 及 场景 ( Scenario )。 

1. 综合 决策 

综合 的 行为 决策 代表 无 人 车 行为 决策 层面 的 整体 最 高 层 的 决策 ， 例 如 按照 当前 Lane 
跟 车 保持 车 距 行驶 ， 换 道 至 左 / 右 相 邻 Lane， 立 刻 停 车 到 某 一 停止 线 后 等 ， 作 为 最 高 层面 
的 综合 决策 ， 其 所 决策 的 指令 状态 空间 定义 ， 需 要 和 下 游 的 动作 规划 (Motion Planning ) 
协商 一 致 , 使 得 做 出 的 综合 决策 指令 是 下 游 可 以 直接 用 来 执行 规划 出 路 线 轨迹 ( trajectory ) 
的 。 为 了 便于 下 游 直接 执行 , 综合 决策 的 指令 集 往往 带 有 具体 的 指令 参数 数据 。 表 7-1 中 
列 出 了 一 些 综合 决策 的 指令 集 定义 及 其 可 能 的 参数 数据 。 例如 , 当 综合 决策 是 在 当前 车 道 
跟 车 行驶 (Follow ) 时 ， 传 给 下 游 动作 规划 的 不 仅 是 跟 车 这 一 宏观 指令 ， 还 包含 如 下 参数 
数据 : 前 方 需要 跟 车 的 车 辆 的 id (一般 从 感知 输出 获得 )， 跟 车 需要 保持 的 车 速 ( 当前 车 
道 限 速 和 前 车 车 速 之 间 较 小 值 )， 以 及 需要 和 前 车 保持 的 距离 〈 例如 前 车 尾部 向 后 3m) 
等 。 下 游 的 动作 规划 基于 宏观 综合 决定 及 伴随 指令 传 来 的 参数 数据 , 结合 地 图 信息 ( 如 车 
道 形状 ) 等 ， 便 可 以 直接 规划 出 安全 无 碰撞 的 行驶 路 线 。 
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表 7-1 行为 决策 中 的 综合 决策 及 其 参数 
综合 决策 参数 

行驶 当前 车 道 ( Current lane ) 
目的 车 速 ( Speed limit of the current lane ) 
当前 车 道 (Current lane ) 
跟 车 对 象 ( Id for the vehicle in front to follow ) 
目的 车 速 (Speed to reach minimum of current lane speed limit and 
speed of the vehicle to follow ) 
跟 车 距离 (not exceeding 3m behind the vehicle in front ) 
当前 车 道 ( Current lane ) 

转弯 目的 车 道 (Target lane ) 
转弯 属性 (Left or right tum ) 
转弯 速度 ( Speed limit for turning ) 
当前 车 道 ( Current lane ) 

换 道 换 道 车 道 ( Target lane ) 
加 速 并 道 (Change lane by overtaking and speed up to 10m/s ) 
减速 并 道 (Change lane by yielding and speed down to 2m/s ) 
当前 车 道 (Current lane ) 
停车 对 象 (ld for any object to stop, if any ) 
停车 位 置 (Stop by 1m behind the object to stop ) 


2. 个 体 决 策 

与 综合 决策 相对 应 的 是 个 体 决策 。 在 本 节 开始 处 我 们 便 提 出 过 , 行为 决策 层面 是 所 有 
信息 汇聚 的 地 方 。 因 此 , 最终 的 综合 决策 必须 是 考虑 了 所 有 重要 的 信息 元 素 后 得 出 的 。 这 
里 ,我 们 提出 对 所 有 重要 的 行为 决策 层面 的 输入 个 体 ,都 产生 一 个 个 体 决 策 。 这 里 的 个 体 ， 
可 以 是 感知 输出 的 路 上 和 车辆 和 行人 , 也 可 以 是 结合 了 地 图 元 素 的 抽象 个 体 , 比如 红绿灯 或 
者 人 行 横道 对 应 的 停止 线 等 。 事 实 上 , 最 终 的 综合 决策 是 先 经 过 场景 的 划分 , 产生 每 个 场 
景 下 的 个 体 决策 , 再 综合 考虑 归纳 这 些 个 体 决 策 才 得 到 最 终 的 综合 决策 。 个 体 决 策 和 综合 
决策 相似 的 地 方 是 除了 其 指令 集 本 身 外 , 个 体 决 策 也 带 有 参数 数据 。 个 体 决 策 不 仅 是 产生 
最 后 的 综合 决策 的 元 素 , 而 且 也 和 综合 决策 一 起 被 传递 给 下 游 动作 规划 模块 。 这 种 设计 虽 
然 传 递 了 更 多 的 数据 , 但 作者 根据 工业 界 的 经 验 认 为 , 传递 作为 底层 决策 元 素 的 个 体 决策 
能 够 非常 有 效 地 帮助 下 层 模块 更 有 效 地 实现 路 径 规 划 。 同 时 , 当 需 要 调试 解决 问题 时 , 传 
递 过 来 的 个 体 决策 能 够 大 大 提高 调试 的 效率 。 表 7-2 列 出 了 一 些 典型 的 个 体 决策 及 其 可 能 
的 附带 参数 数据 。 例 如 ， 在 做 出 针对 某 个 感知 物体 X 的 超车 这 一 个 体 决策 时 ， 附 带 的 参 
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数 数据 包括 超车 的 距离 和 时 间 限 制 。 距 离 代表 本 车 车 身 至 少 要 超过 物体 X 的 车 头 的 最 小 
距离 , 同样 , 时 间 代 表 这 段 超车 安全 距离 至 少 要 对 应 物体 X 行驶 一 个 最 小 安全 时 间 间 隔 。 
注意 这 种 超车 个 体 决策 , 往往 发 生 在 两 车 轨迹 有 所 交互 的 场景 中 。 典型 的 场景 包括 换 道 和 
路 口 的 先行 后 行 。 下 面 我 们 会 结合 红绿灯 路 口 右 转 这 一 具体 例子 , 描述 如 何 结合 分 制 场景 
产生 不 同 的 个 体 决策 ， 并 最 终 融合 成 综合 决策 输出 。 


表 7-2 行为 决策 中 的 个 体 决策 及 其 参数 


个 体 决 策 参数 
跟 车 对 象 (Id for the vehicle to follow ) 
跟 车 
跟 车 速度 ( Speed to reach for following the vehicle ) 
跟 车 距离 ( Distance to keep for following the vehicle ) 
停车 停车 对 象 (Id forthe vehicle to stop ) 


停车 距离 ( Distance to stop behind the vehicle ) 
超车 对 象 (Id forthe vehicle to overtake ) 

超车 距离 ( Minimum distance to keep for overtaking ) 
超车 时 间 ( Minimum time gap to keep for overtaking ) 
让 行 对 象 (Id for the vehicle to yield ) 

让 行距 离 (Minimum distance to keep for yielding ) 


车 辆 


让 行 时 间 ( Minimum time gap to keep for yielding ) 

停车 对 象 (Id for the pedestrian to stop ) 

停车 距离 ( Minimum distance to stop by the pedestrian ) 
Ix] Z (Id for the pedestrian to swerve ) 

躲避 距离 ( Minimum distance to keep while swerving around ) 





3. 场景 划分 构建 和 系统 设计 

个 体 决 策 的 产生 依赖 于 场景 的 构建 ,这 里 我 们 可 以 将 场景 理解 成 一 系列 具有 相对 独立 
意义 的 无 人 车 周边 环境 的 划分 。 利用 这 种 分 而 治之 思想 的 场景 划分 , 我 们 将 无 人 车 行为 决 
策 层面 汇聚 的 众多 无 人 车 主 车 周边 属于 不 同类 别 的 信息 元 素 , 聚 类 到 不 同 的 富有 实际 意义 
的 场景 实体 中 。 在 每 个 场景 实体 中 , 我 们 通过 交规 , 并 结合 主 车 的 意图 ,计算 出 对 于 每 个 
信息 元 素 的 个 体 决策 ,再 通过 一 系列 准则 和 必要 的 运算 把 这 些 个 体 决策 最 终 综合 输出 给 下 
游 。 

图 7.7(a) 和 图 7.7(b) 所 示 为 两 个 非常 典型 的 场景 划分 。 
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综合 决策 : 
eroe 侧 Lane 换 道 ， 
超过 车 辆 d， 下 这 和 革职 村 于 


"am 
SLM. 
等 待 行 


场景 划分 和 个 体 决 策 : 


基于 1，2， 
(b) 第 一 层 : 主 车 + 人 行 横道 + 红绿灯 +Keep Clear Zone 第 二 层 : 路 口 场景 
图 7-7 行为 决策 场景 


在 图 7.7(a) 中 ， 车 辆 a 和 d 出 现在 “ 左 侧 车 道 ” 这 一 场景 @ 中 。 此 时 无 人 车 主 车 的 意 
图 是 向 左 换 道 。 在 计算 了 主 车 相对 a 和 d 的 位 置 和 速度 后 ,“ 左 侧 车 道 ” 这 一 场景 计算 的 
结果 是 需要 让 a 车 先 通过 , 然后 在 d 车 之 前 进行 换 道 ; 与 此 同时 , 一 个 相对 独立 的 场景 是 
“前 车 ”场景 @， 此 时 主 车 虽然 在 考虑 向 左 换 道 ， 但 仍然 需要 注意 当前 车 道 的 前 车 ， 所 以 
场景 @ 对 前 车 仍然 做 出 了 对 车 辆 b 需 要 注意 这 个 个 体 决策 ; 相对 主 车 当前 意图 而 言 , 右 侧 
车 道场 景 @ 和 后 方 车 辆 场景 @ 和 当前 的 主 车 轨迹 没有 冲突 ， 所 以 可 以 安全 做 出 对 车 辆 c 
fll e 的 Ignore 决策 。 


值得 一 提 的 是 类 似 前 方 后 方 车 辆 , 两 侧 车 道 这 些 场景 是 基本 的 场景 。 ee 
本 元 素 本 身 就 可 以 是 这 些 基 本 场景 。 图 7.7(b) 中 给 出 了 “路 口 ” 这 么 一 个 “复合 场景 "。 
可 以 看 出 , 我 们 的 场景 定义 是 分 层次 的 ( Layered )。 每 个 层次 中 间 的 场景 是 互相 独立 构建 
的 。 其 中 主 车 可 以 认为 是 最 基本 的 底层 场景 , 其 他 所 有 场景 的 构建 都 需要 先 以 无 人 车 主 车 
在 哪里 这 么 一 个 基本 场景 为 基础 ; 在 此 之 上 的 第 一 层 场景 包括 红绿灯 、 前 后 方 车 辆 , 以 及 
左右 两 侧 车 道 车 辆 等 ; 如 图 7.7(b) 所 示 中 的 路 口 场景 ,是 第 二 层 的 复合 场景 。 其 中 的 元 素 
包括 第 一 层 的 人 行 横道 、 红 绿灯 ,以 及 主 车 等 场景 。 结合 这 些 场景 , 路 口 场景 本 身 中 的 元 
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素 是 车 辆 a 和 b。 假设 此 时 无 人 车 的 意图 是 右 转 ,路 口红 灯 可 以 右 转 但 由 于 没有 道路 优先 
权 需 要 避让 其 他 车 辆 , 此 时 感知 发 现 一 个 行人 在 人 行 横道 的 场景 横 穿 马 路 , 那么 结合 所 有 
这 些 场景 元 素 和 意图 ， 得 到 的 最 终 指令 是 针对 行人 在 人 行 横道 前 停车 。 


综 上 所 述 ， 每 个 场景 模块 利用 自身 的 业务 逻辑 (Business Logic ) 来 计算 其 不 同 元 素 
个 体 的 决策 。 通过 场景 的 复合 , 以 及 最 后 对 所 有 个 体 的 综合 决策 考虑 , 无 人 车 得 到 的 最 终 
行为 决策 需要 是 最 安全 的 决策 。 这 里 的 一 个 问题 是 会 不 会 出 现 不 同 场 景 对 同一 个 物体 ( 例 
如 某 个 车 辆 ) 通 过 各 自 独立 的 规则 计算 出 矛盾 的 决策 ”从 场景 的 划分 可 以 看 出 , 本 身 一 个 
物体 出 现在 不 同 场景 里 的 概率 是 很 小 的 。 事实 上 , 我 们 提出 的 这 种 场景 划分 的 方法 本 身 就 
尽 可 能 避免 了 这 一 情况 的 出 现 。 即 使 这 种 矛盾 出 现 ， 在 图 7-8 所 示 的 系统 框架 的 中 间 层 ， 
也 会 对 所 有 的 个 体 决策 进行 汇总 和 安全 无 碰撞 的 验证 。 


”整个 行为 决策 层面 的 框架 和 运行 流程 如 图 7-8 所 示 。 首先 是 结合 主 车 信息 、 地 图 数据 
及 感知 结果 构建 不 同 层次 的 场景 。 在 路 由 寻 径 的 指引 下 , 每 个 场景 结合 自身 的 规则 C 往往 
是 交规 或 者 安全 避让 优先 )， 计 算出 属于 每 个 场景 物体 的 个 体 决 策 。 在 所 有 的 个 体 决策 计 
算 完 毕 后 , 虽然 发 生 的 概率 极其 微小 , 但 我 们 还 是 会 检查 有 无 冲突 的 个 体 决 策 。 在 对 冲突 
的 个 体 决策 进行 冲突 解决 (往往 是 优先 避让 ) 后 , 我 们 会 在 一 个 统一 的 时 空 里 , 推演 预测 
当前 的 所 有 个 体 决策 能 否 汇总 成 一 个 安全 行驶 无 碰撞 的 综合 决策 。 如 果 这 样 的 安全 无 碰撞 
综合 决策 存在 ,我 们 便 将 其 和 个 体 决策 一 起 输出 给 下 层 的 动作 规划 模块 计算 具体 从 当前 位 
置 到 下 一 个 位 置 的 时 空 轨迹 。 
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7.4 动作 规划 


在 行为 决策 层 下 游 的 模块 是 动作 规划 ,其 任务 是 将 行为 决策 的 宏观 指令 解释 成 一 条 带 
有 时 间 信 息 的 轨迹 曲线 ,给 底层 的 反馈 控制 进行 实际 对 车 的 操作 。 这 里 无 人 车 的 动作 规划 ， 
可 以 看 作 是 普通 机 器 人 动作 规划 (Robotic Motion Planning) 的 一 种 特殊 场景 。 事实 上 ， 
作者 认为 无 人 车 的 动作 规划 问题 是 整个 机 器 人 动作 规划 领域 里 相对 简单 的 一 个 问题 。 这 是 
因为 车 辆 的 轨迹 是 依附 于 一 个 二 维 平面 的 。 车 辆 在 方向 盘 、 油 门 的 操控 下 ,其 行驶 轨迹 的 
物理 模型 相对 于 普通 的 机 器 人 姿态 的 动作 轨迹 更 简单 。 从 DARPA 无 人 车 比赛 开始 , 无 人 
车 动作 规划 便 逐 渐 成 为 一 个 相对 独立 的 模块 中， 尝试 在 城市 道路 行驶 及 停车 等 综合 条 件 
下 解决 路 径 规划 的 问题 , 也 有 一 些 在 特定 场景 下 的 路 径 规划 问题 的 解决 方法 。 参考 资料 中 
的 [和] 和 [11] 列 出 了 近年 来 动作 规划 的 很 多 不 同方 向 的 工作 , 读者 可 以 作为 参考 。 随 着 这 些 
研究 的 进展 , 路 径 模块 需要 解决 的 问题 也 逐渐 明晰 : 几乎 所 有 动作 规划 都 试图 解决 在 一 定 
的 约束 条 件 下 优化 某 个 范围 内 的 时 空 路 径 问 题 。 这 里 所 谓 的 “时 空 路 径 ” 指 车 辆 在 一 定时 
间 段 行驶 的 轨迹 。 该 轨迹 不 仅 包括 位 置信 息 , 还 包括 整 条 轨迹 的 时 间 信 息 和 车 辆 姿态 : 即 
到 达 每 个 位 置 的 时 间 、 速 度 , 以 及 任何 可 能 的 和 时 间 相 关 的 运动 变量 如 加 速度 、 曲 率 、 曲 
率 的 高 阶 导数 等 信息 。 由 于 车 辆 控制 是 一 个 不 和 谐 的 系统 "”， 车 辆 的 实际 运行 轨迹 总 是 
呈现 出 属于 平滑 的 类 似 螺旋 线 的 曲线 签 的 属性 .因此 ,轨迹 规划 这 一 层面 需要 解决 的 问题 ， 
往往 可 以 非常 好 地 抽象 成 一 个 在 二 维 平面 上 的 时 空 曲 线 优化 问题 。 考 虑 动作 规划 这 个 层面 
的 优化 问题 所 需要 的 两 个 要 素 : 一 是 需要 优化 的 图 数 (Object ) /代价 (Cost) 目标 ; 二 是 
边界 条 件 的 限制 (Constraint) HAR 7-1 所 示 的 整个 系统 框架 ， 这 里 的 优化 目标 函数 ， 
往往 以 Cost 函数 的 形式 呈现 ， 优 化 的 目标 是 找到 满足 边界 条 件 限 制 的 最 小 Cost 的 曲线 。 
这 里 的 Cost 和 如 下 几 个 重要 因素 紧密 相关 。 首 先是 上 游 的 行为 决策 输出 的 决策 结果 。 作 
为 下 游 直接 规划 无 人 车 路 线 曲线 的 动作 规划 ， 其 优化 目的 必须 满足 达到 行为 层面 的 要 求 。 
这 些 要 求 往往 体现 在 曲线 的 长 度 不 能 超过 某 一 停止 线 , 曲 线 横向 位 移 不 能 触 碰 到 需要 避让 
的 物体 等 ; 其 次 ,由 于 我 们 着 重 考虑 在 城市 综合 道路 (Urban Road). 上 的 行驶 ， 车辆 行驶 
的 曲线 要 考虑 和 道路 的 关系 , 即 动作 规划 的 曲线 要 满足 能 够 沿 道路 行驶 的 基本 要 求 , 这 些 
要 求 也 会 被 转化 成 曲线 的 不 同 代价 来 体现 ; 在 动作 规划 的 边界 条 件 限制 层 , 往往 需要 更 多 
考虑 的 是 如 图 7-1 所 示 的 下 游 反 馈 控 制 模块 。 例 如, 车 辆 的 转向 由 方向 盘 控 制导 致 车 辆 的 
曲率 和 曲率 二 阶 导 变化 受到 一 定 的 限制 车辆 的 油门 加 速 同样 限制 车 辆 的 加 速度 的 变化 率 
不 可 能 过 大 等 。 


这 里 我 们 借鉴 参考 资料 [11] 中 的 动作 规划 算法 , 提出 一 种 更 简单 明确 地 将 动作 规划 问 
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题 拆 分 成 为 两 个 问题 一 一 轨迹 规划 ( Trajectory Planning ) 和 速度 规划 ( Speed Planning ) 
来 解决 的 思路 。 其 中 轨迹 规划 只 解决 在 二 维 平面 上 , 根据 行为 决策 和 地 图 信息 定义 的 Cost 
函数 下 优化 轨迹 的 问题 。 这 里 的 轨迹 不 考虑 速度 因素 ， 只 是 单纯 的 不 同 长 度 的 轨迹 曲线 ; 
而 速度 规划 问题 则 是 在 选 定 了 一 个 或 者 若干 个 轨迹 (Trajectory) 之 后 ， 解 决 用 什么 样 的 
速度 行驶 这 条 轨迹 的 问题 。 相 比 于 参考 资料 [11] 中 的 联合 优化 带 有 时 间 和 速度 信息 的 时 空 
轨迹 , 这 样 的 方法 使 得 每 个 层次 定义 的 问题 更 加 清晰 和 相对 易于 建 模 解决 。 虽然 分 开 优 化 
不 一 定 能 保证 达到 联合 意义 上 的 最 优 解 , 但 是 在 实际 的 工程 实践 中 , 作者 认为 分 开 优化 是 
更 实际 有 效 的 解决 方案 。 下 面 我 们 就 分 别 详细 介绍 轨迹 规划 和 速度 规划 的 算法 。 
7.4.1 轨迹 规划 
1. 车 辆 模型 、 道 路 定义 ， 以 及 候选 轨迹 生成 
我 们 首先 介绍 车 辆 和 道路 的 数学 模型 。 对 于 车 辆 ,我 们 考虑 车 辆 的 姿态 向 量 
区 = (x,y,0,K,v) ， 其 中 (x,y) 表示 车 辆 在 二 维 平面 的 位 置 ，9 表示 车 辆 的 朝向 ，* 表示 曲 
率 ( 即 朝 向 9 的 变化 率 )，v 表 示 车 辆 的 速度 ( 即 轨迹 任意 点 的 切线 速度 )。 车辆 的 这 些 姿 
态 变 量 的 标量 大 小 满足 如 下 关系 : 
X = VCOSO 
y =vsind 
0 — vk 
其 中 曲率 kx 的 大 小 往往 由 系统 的 输入 限制 条 件 决 定 。 在 此 基础 上 ， 考虑 一 条 由 车 辆 运 
动产 生 的 连续 轨迹 ( Path )。 我 们 称 沿 着 轨迹 的 方向 的 位 移 为 S 方向 。 轨 迹 相对 于 车 辆 姿 
态 的 系统 关系 由 下 列 偏 微分 方程 式 给 出 : 
dx / ds = cos(0(5)) 


dy / ds = sin(0(s)) , 
dg / ds = k(s) 


注意 这 里 我 们 并 没有 对 x 和 6 之 间 的 关系 做 出 特定 限制 ， 即 车 辆 可 以 在 任意 朝向 86 上任 
意 改变 其 曲率 k。 在 实际 的 车 辆 模型 中 ,车 辆 的 曲率 k 和 朝向 儿 间 是 有 一 定 限制 的 ， 但 这 
个 微小 的 模型 偏差 并 不 影响 我 们 这 个 动作 规划 算法 的 一 般 性 和 实用 性 。 


我 们 的 轨迹 规划 ( Trajectory Planning ) 算 法 非常 依赖 于 地 图 中 对 于 道路 中 心 线 ( Center 
Line) 的 定义 。 这 里 我 们 认为 道路 是 由 道路 的 采样 函数 所 定义 。 采 样 函 数 为 : 
r(s) 7 [r.(s),r. (s), rn (s).r.(5)] ,其 中 s 代表 道路 的 中 心 线 切 向 方向 的 位 移 ( 以 后 也 称 为 纵向 
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位 移 s )。 与 此 对 应 的 是 道路 的 中 心 线 垂直 方向 位 移 1 ， 也 称 为 横向 位 移 。 如 果 考 虑 一 个 
车 辆 的 姿态 点 具体 关系 ,其 各 个 分 量 由 道路 坐标 系 下 的 (s, D) 坐标 ,以 及 道路 采样 函数 (s,7) 
决定 ， 满足: 

x,(s,/) 2 r.(s) - 1cos(ro(s) + 7/2) 

yr (s) S r, (s) - Isin(ra(s) + x/2) 

6. (s,D) = ro(s) 

K,(s,1) = (5)! - D)! 

其 中 曲率 K. 在 道路 转弯 的 内 侧 加 大 〈 随 纵向 位 移 1 加 大 )， 外 侧 则 减 小 。 我 们 使 用 右 

手 坐 标 系 ， 所 以 如 图 7-9 所 示 ， 在 靠近 原点 处 朝 x 轴 的 正方 向 ,纵向 位 移 , 朝 着 y 轴 正 方 
向 加 大 。 假 设 对 于 某 条 道路 Lane(k)， 其 纵向 宽度 1 保持 不 变 。 那 么 该 条 道路 可 以 表示 为 
一 个 随 着 中 心 线 横向 位 移 s 的 点 集 {p(s,4):se Rt} o 我们 称 这 样 的 一 个 坐标 系统 为 SL 坐 
标 系 统 。 





图 7-9 XY SE ifii PII] SL 坐标 系统 及 其 网 格 划分 


在 上 述 的 车 辆 模型 和 道路 模型 下 , 我 们 讨论 轨迹 规划 所 产生 的 轨迹 曲线 。 首 先 , 我 们 
定义 车 辆 的 轨迹 ( Trajectory ) 为 一 个 从 [0.1] 区 间 到 和 车辆 姿态 向 量 集合 C = (5) 的 连续 映射 : 
p:[00] 一 C 。 其 中 车 辆 的 初始 姿态 向 量 为 X= (X,y,0,K)。 每 条 轨迹 终点 处 如 图 7-10 所 
示 ， 轨 迹 1 的 终点 姿态 为 pl(D = qaa ， 轨 迹 2 的 终点 姿态 向 量 为 px(D = qaas ， 初 始 姿态 
为 p1(0) = p2(0)= qm。 轨迹 优化 的 目标 便 是 在 所 有 可 能 的 轨迹 曲线 中 ， 第 选 出 满足 边界 
条 件 的 轨迹 曲线 ， 再 寻找 一 条 /若干 条 最 平滑 且 Cost 函数 最 低 的 曲线 。 其 中 轨迹 的 候选 曲 
线 我 们 用 类 似 在 路 由 寻 径 模块 中 介绍 的 “ 撤 点 ” 的 采样 方式 生成 。 参考 图 7-10 在 某 条 Lane 
的 SL 坐标 系 下 ,均匀 切 分 的 S 和 工 方 向 的 方 格 内 ,在 固定 S 和 LI 间隔 下 ,考虑 每 个 (s;,1)) 
区 域 的 中 心 点 。 一 条 候选 的 轨迹 便 可 以 看 作 是 沿 着 Lane 的 中 心 线 纵向 位 移 s 方向 连接 不 
[ii] Trajectory Point 的 平滑 曲线 。 在 图 7-10 所 示 的 道路 SL 分 制 和 采样 下 , 可 能 的 Trajectory 
Point 有 16 个 (4 个 s 位 置 , 4 个 /位置 )， 从 车 辆 的 初始 位 置 出 发 ， 我 们 只 考虑 在 s 方向 
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单调 增 大 的 可 能 ， 不 考虑 城市 综合 道路 行驶 中 的 倒车 情况 ， 那 么 总 的 候选 曲线 的 条 数 为 
44 =256 条 。 轨 迹 优化 便 是 要 在 这 256 条 候选 的 曲线 中 找 出 最 平滑 且 Cost 最 优 的 轨迹 。 
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图 7-10 SL 坐标 系 下 道路 的 分 割 采样 及 可 能 的 轨迹 


我 们 采用 多 项 式 螺旋 线 0 连接 轨迹 点 ， 从 而 生成 候选 的 曲线 。 多 项 式 螺 旋 线 ， 如 
图 7-11 所 示 ， 代 表 了 一 类 曲率 可 以 用 弧 长 ( 对 应 我 们 轨迹 中 的 s 方向 ) 的 多 项 式 函 数 来 
表示 的 曲线 簇 。 我 们 使 用 三 阶 ( Cubic ) 或 者 五 阶 ( Quintic ) 的 多 项 式 螺 旋 线 , 其 曲率 和 
轨迹 弧 长 s 的 关系 k(s) 为 : 
k(s) = ko + kis + kas? +k3s3 , 或 者 


k(s) = ko + kis + kas? + kss? + kast + kss5 


这 里 我 们 使 用 三 阶 或 者 五 阶 的 多 项 式 螺旋 线 拟 合 , 是 遵循 常见 的 已 有 动作 规划 方面 工 
作 的 惯例 。 曲 线 的 阶 数 对 于 其 在 曲线 连续 性 方面 并 没有 本 质 的 影响 , 其 他 阶 数 ( 如 四 阶 甚 
至 更 高 阶 ) 的 多 项 式 曲 线 复 也 能 够 作为 轨迹 点 之 间 的 连接 曲线 。 三 阶 和 五 阶 多 项 式 在 满足 
边界 条 件 约束 上 有 一 个 重要 的 区 别 : 三 阶 多 项 式 螺 旋 线 会 导致 曲率 的 二 阶 导 dx? / ds? (对 
应 方向 盘 转 速 ) 的 不 连续 , 而 五 阶 多 项 式 则 可 以 同时 保证 dk / ds 和 dk? / ds? 的 连续 性 。 三 
阶 和 五 阶 多 项 式 螺 旋 线 在 速度 较 低 时 , 该 差别 在 反馈 控制 上 引入 的 误差 体现 并 不 明显 , 但 
在 速度 较 快 时 该 误差 不 可 忽略 。 
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7-11 多 项 式 螺旋 线 及 车 辆 姿态 的 螺旋 线 示意 图 
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基于 这 种 使 用 三 阶 (五 阶 ) 螺旋 线 连接 的 轨迹 , 其 参数 可 以 快速 有 效 地 通过 梯度 下 降 
(Gradient Descent) 的 方法 来 搜索 。 以 三 阶 多 项 式 为 例 ， 我 们 考虑 从 车 辆 初始 姿态 
disi = (X1, y1,81,k1) 到 目标 姿态 quoa = (xo. Yo.0c.kc) ， 且 具有 连续 曲率 的 三 阶 螺旋 线 : 
k(s) = ko + hs + kas? + k3s3。 在 初始 状态 s=0 时 , 考虑 曲率 的 一 阶 导数 和 二 阶 导数 均 
需要 满足 初始 状态 的 限制 ， 我 们 可 以 得 到 : 

Kg — KT 
Kı 2 d«(0) / ds 
ie; = d2«(0)/ ds? 

这 样 使 得 实际 未 知 参数 减少 到 2 A (3,56 )， 利 用 梯度 向 量 我 们 可 以 快速 寻找 到 非 
常 接近 初始 状态 限制 的 三 阶 螺旋 线 的 参数 。 

2. 基于 轨迹 点 的 有 向 图 构建 和 搜索 

在 之 前 描述 的 车 辆 道路 模型 、 轨 迹 点 以 及 连接 轨迹 点 的 多 项 式 螺旋 线 等 的 设 定之 下 ， 
轨迹 规划 简化 成 针对 [iont / Ad] [oa / As| 个 轨迹 点 连接 成 的 | iua / A 7 对 条 潜在 候选 曲 
线 的 搜索 问题 。 考 虑 这 些 轨 迹 点 构成 的 图 G=(V,E) 。 其 中 每 个 轨迹 点 都 是 图 中 的 一 个 节 
A. veV,v-(Quys) ; 对 于 任意 两 个 节点 v,ueV, 当 其 对 应 的 坐标 满足 s, <sv ET, 
e(v,u) e 巨 代表 从 * 到 ?的 三 阶 /五 阶 多 项 式 螺旋 曲线 。 最 优 的 曲线 搜索 问题 转化 为 在 上 述 
有 向 带 权 图 上 的 “最 短路 径 ” 搜 索 问题 。 需 要 注意 , 这 里 的 最 短路 径 较 为 特殊 的 是 其 不 仅 
包含 沿 着 路 径 的 累积 Cost， 还 包括 了 当 路 径 轨迹 确定 后 这 条 路 径 的 整体 Cost。 考 虑 由 轨 
JI nom, ry, 连接 成 的 曲线 = ， 其 中 初始 轨迹 点 为 n。， 轨 迹 终 点 为 n; ， 那 么 该 轨迹 的 
Cost 可 以 写成 : 

Q(7) 2 c(7) + P(r) 


其 中 ecc) 代表 沿 该 曲线 行驶 累积 的 Cost, eG) 代表 这 条 曲线 在 此 终点 终结 而 引入 的 
Cost, WRK ec) 函数 写成 按照 轨迹 点 的 增 量 形式 ， 那 么 : 
Q(r(no, ni, ny)) = gu) + dern as ni) 
其 中 我 们 定义 函数 g(n) 将 表示 “到 达 ” 节 点 的 最 小 Cost， 注 意 该 Cost 包含 沿途 轨 
迹 螺旋 线 的 Cost 累积 而 并 不 包括 以 为 终点 而 引起 的 整体 轨迹 曲线 Cost 增长 。 那 么 ,， 考 
EA m4-1 为 倒数 第 二 个 节点 的 所 有 轨迹 中 ,最 小 Cost 轨迹 曲线 的 最 后 一 个 轨迹 点 n, 的 选 
取 。 该 节点 n 需要 满足 : 
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(1) 存在 节点 mna BUTT m WARA e(n), EWY T(n) e 


(2 ) 对 所 有 节点 n 能 够 到 达 的 节点 集合 i} MAEA IRI engi, ig) ) 中 ,以 nm 
结束 的 轨迹 曲线 的 总 Cost 最 小 。 


n, 《一 argmin g(nx-1) 二 cz 天) 十 四 (OA 大) ， 


这 样 我 们 可 以 更 新 gln) A: g() € gea) c(O a. n) o 


我 们 可 以 用 图 7-12 所 示 的 动态 编程 算法 来 计算 从 车 辆 的 初始 位 置 m 节点 起 始 , 经 过 
任意 个 可 能 的 轨迹 点 , 且 保持 在 道路 Lane 的 s 方 向 递增 的 最 小 Cost 的 轨迹 曲线 。 从 图 7-12 
可 以 看 出 ， 最 小 Cost 轨迹 所 经 过 的 轨迹 点 之 间 的 连接 是 可 以 在 进行 图 的 遍历 搜索 的 同时 
构建 的 。 算 法 中 g(n) P T BATA n AY Cost, M O(n) 代表 了 整个 轨迹 的 Cost， 其 中 包 
dh T SUA n 的 Cost 及 以 为 轨迹 终点 带 来 的 附加 Cost。 前 者 e(n) 是 选择 从 当前 节点 展开 
到 后 续 节 点 所 增加 Cost 的 依据 (图 7-12 第 13 行 ); 而 当选 择 从 哪 一 个 前 驱 节 点 到 达 当 前 
节点 时 则 考虑 gn) 作为 评价 标准 (图 7-12 第 11 行 )。 当 整个 g(0D7 fü d(n) 都 计算 完毕 后 ， 
很 容易 通过 我 们 的 前 驱 节 点 映射 prev_node 来 倒 推出 整个 最 小 Cost 的 轨迹 点 序列 。 我 们 
只 需要 增加 一 个 虚拟 的 节点 n; ， 且 对 于 nj ， 构 建 连接 nj 的 虚拟 边 。 这 样 我 们 的 任务 便 
成 为 寻找 一 条 连接 no 至 nj 的 轨迹 点 构成 的 最 小 Cost 轨 迹 曲 线 。 根 据 图 7-12 所 示 的 算法 ， 
g(n) 已 经 计算 完毕 ,那么 最 后 一 个 实际 的 轨迹 点 可 以 从 nas = argmin g(n) - O(n) 中 找 出 。 


1 function Search. DP(TrajectoryPointMatrix(V, E), (s). (/)) 
Initialize map g: Vn € V, g(n) < inf 
Initialize map prev. node: Vn € V, g(n)< null 
for each sampled s, € {s} : 
Vn EV s.t. s(n) 2 s, :é(n) < inf 
for each lateral direction Trajectory Point n =[s,,/,]: 


if g(n) = inf : 
Form the vehicle pose vector X, = [x(). y(n),0(n),k(n)] 
for each outgoing edge e = (n,n') 
Form the polynominal spiral t(@(n,n')) 
if g(n)+@,(n)< (n'): 
$(1") — g(n)+ O(n) 
g(n') - g(n)* c(r) 
prev. node(n") €- n 
end if 
end for 
end if 
end for 
end for 


图 7-12 基于 动态 编程 的 轨迹 点 最 小 Cost 轨迹 算法 
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这 里 我 们 再 简单 介绍 一 下 具体 的 轨迹 曲线 的 Cost 函数 设计 。 考 虑 轨迹 
Cost( ((z) = c(t) + P(r) ), 其 中 clr) 部 分 的 Cost 代表 连接 曲线 轨迹 点 的 部 分 代价 。 这 里 可 
以 考虑 如 下 因素 来 设计 基于 轨迹 的 Cost 函数 。 


( 1 ) 道路 层面 : 规划 的 轨迹 曲线 应 当 尽 可 能 和 道路 的 中 心 线 切合 。 例如， 当 行 为 决策 
的 输出 是 直行 时 ， 轨 迹 曲线 的 Cost 会 随 着 规划 轨迹 曲线 偏离 道路 中 心 线 的 横向 位 移 1 加 
大 而 加 大 。 


(2) 障碍 物 层 面 : 规划 的 轨迹 曲线 需要 避让 静态 障碍 物 。 例 如 ， 在 图 7-10SL 坐标 系 
下 道路 的 分 割 采样 及 可 能 的 轨迹 ， 需 要 将 静态 的 障碍 物 所 占领 的 网 格 及 其 附近 的 网 格 的 
Cost 调整 到 非常 高 。 我 们 将 在 7.4.2 节 中 结合 速度 规划 讨论 动态 障碍 物 的 规避 。 


(3 ) 控制 和 舒适 度 层 面 : 这 个 层面 的 Cost 和 操控 的 限制 及 乘客 的 舒适 性 紧密 相关 。 
规划 的 曲线 应 该 尽量 避免 曲率 ( 包括 曲率 导数 ) 的 较 大 变化 等 , 使 得 乘客 的 舒适 性 得 到 保 
障 。 


再 考虑 整体 曲线 Cost 的 O(c) 部 分 ， 由 于 我 们 将 速度 规划 (Speed Planning ) 的 部 分 
作为 一 个 单独 的 问题 来 解决 ,那么 O(r) 的 Cost 函数 可 以 仅 考虑 轨迹 曲线 的 纵向 位 移 s 部 


M 
分 。 


P(t) - -as (x) + hi(s, (x), 


hu(s)= - ìf SS threshold 
0 otherwise, 


其 中 第 一 项 是 线性 Cost， 代 表 了 整体 轨迹 曲线 偏向 于 纵向 位 移 s 较 长 的 轨迹 (Cost 
项 为 负 代表 对 Cost 进行 减 小 discount )， 而 第 二 项 是 一 个 非 线 性 Cost， 只 有 当 整体 的 纵向 
位 移 s 超过 一 定 门限 时 才 会 触发 。 


7.4.2 ”速度 规划 


当 轨 迹 规 划 给 定 了 一 条 或 者 若干 条 选 出 的 轨迹 曲线 后 ,动作 规划 模块 需要 解决 的 后 续 
问题 是 在 此 轨迹 的 基础 上 加 入 速度 相关 的 信息 。 这 一 问题 我 们 称 为 速度 规划 。 速度 规划 的 
目标 是 在 给 定 的 轨迹 曲线 上 ,在 满足 反馈 控制 的 操作 限制 及 符合 行为 决策 的 输出 结果 这 两 
个 前 提 下 ， 将 轨迹 点 赋予 速度 及 加 速度 信息 。 我 们 已 经 将 静态 障碍 物 的 规避 部 分 在 7.4.1 
节 的 轨迹 规划 中 考虑 , 速度 规划 主要 考虑 的 是 对 于 动态 障碍 物 的 规避 。 本 节 中 , 我 们 引入 
S-T 图 这 一 概念 , 并 且 把 无 人 车 速度 规划 问题 归纳 成 S-T 图 上 的 搜索 问题 进行 求解 。 顾 名 
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思 义 ，S-T 图 是 一 个 关于 时 间 和 给 定 轨迹 纵向 位 移 的 二 维 关系 图 。 任何 一 个 S-T 图 都 是 基 
于 一 条 已 经 给 定 的 轨迹 曲线 。 根 据 无 人 车 预测 模块 对 动态 障碍 物 的 轨迹 预测 ， 每 个 动态 
障碍 物 都 会 在 这 条 给 定 的 轨迹 上 有 所 投影 , 从 而 产生 对 于 一 定 S-T 区 域 的 覆盖 。 这 里 我 们 
结合 一 个 例子 阐述 基于 S-T 图 的 速度 优化 算法 。 


如 图 7-13 所 示 ， 考 虑 一 条 轨迹 规划 选取 的 换 道 轨迹 。 此 时 ， 在 需要 换 至 的 目标 车 道 
中 有 a All b 两 辆 障碍 车 。 简单 而 不 失 一 般 性 , 假设 预测 模块 对 这 两 辆 车 的 预测 轨迹 都 是 沿 
着 当前 的 左 侧 车 道 匀速 直线 行驶 。 那 么 a P b 在 这 条 选 定 的 轨迹 上 的 投影 如 图 中 的 两 块 阴 
影 区 域 所 示 。 在 某 一 个 固定 时 刻 ，a F b 在 轨迹 上 的 投影 都 是 平行 于 s 轴 的 线段 。 随 着 t 
BOXER, BER aH b 在 轨迹 曲线 上 的 投影 如 图 7-13 所 示 的 阴影 四 边 形 并 不 断 延 伸 。 我 
们 将 S-T 图 类 似 于 轨迹 规划 的 地 图 划分 也 切割 成 小 网 格 C Lattice Grid )， 对 每 个 网 格 赋予 
Cost， 那 么 速度 规划 问题 也 可 以 归纳 成 在 这 个 网 格 图 上 的 最 小 Cost 路 径 搜索 问题 。 主 车 
在 t-0 时刻 在 s=0 位 置 ， 主 车 需要 最 终 到 达 s=s_end 位 置 旦 经 过 网 格 的 累计 Cost 最 低 。 






» 44 A? 


' 3 Speed 
it------- Plan3 





图 7-13 基于 S-T 图 的 速度 规划 搜索 图 


我 们 比较 图 7-13 所 示 的 三 种 速度 规划 方案 : 第 一 种 方案 ( Speed Plan 1) 在 任意 1 时 
刻 ， 主 车 在 轨迹 上 的 s 方向 一 直 落 后 于 ac 和 4b， 注意 主 车 还 有 一 个 等 于 Speed Plan 1 对 应 
直线 斜率 的 速度 ， 最 终 可 以 到 达 s=s_end 位 置 (图 中 的 轨迹 没有 画 出 )， 在 实际 行驶 中 ， 
这 个 方案 对 应 于 让 a JI b 都 先 通过 主 车 换 道 需 要 经 过 的 轨迹 部 分 , 然后 再 进行 换 道 ; 第 二 
种 方案 ( Speed Plan 2) 从 某 一 时 刻 开始 在 轨迹 上 的 位 移 便 一 直 领 先 于 车 辆 a, 但 一 直 落 
后 于 车 辆 b, 在 实际 行驶 中 对 应 先 加 速 在 a 进入 选 定 的 换 道 轨迹 前 进入 换 道 轨迹 , 但 等 待 
位 置 较为 靠 前 的 5 先进 入 轨迹 ; 第 三 种 方案 (Speed Plan 3) 对 应 加 速 在 a 和 b 进入 选 定 
的 换 道 轨迹 前 进入 轨迹 。 此 时 , 假设 上 游 的 行为 决策 模块 的 输出 是 针对 障碍 车 辆 a 进行 让 
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先 (Yield )， 对 障碍 车 辆 b 进行 抢先 (Overtake )， 那 么 速度 规划 算法 应 当 结 合 Cost 选 出 
第 二 种 方案 ( Speed Plan 2 )。 


结合 上 游行 为 决策 输出 的 信息 ,动作 规划 模块 的 速度 规划 可 以 灵活 设置 障碍 物体 周边 
的 Cost， 达 到 调整 速度 方案 的 目的 。 例 如 ， 当 上 游 决 定 对 于 物体 a 进行 抢先 决策 时 ， 在 
S-T 图 上 物体 a 的 运动 轨迹 上 方 的 网 格 的 Cost 就 可 以 调 成 偏 小 ; 假设 对 一 个 动态 障碍 物 
体 需 要 让 先 ， 那 么 可 以 将 该 物体 下 方 的 网 格 的 Cost 调 小 。 同 时 ， 为 了 避免 任何 潜在 的 碰 
fit (Collision )， 所 有 动态 障碍 物体 的 轨迹 经 过 的 网 格 的 Cost 都 需要 调 大 。 除 此 之 外 ,还 
需要 考虑 一 条 给 定 速度 方案 在 加 速度 等 控制 方向 的 Cost。 例 如 ，S-T 图 上 过 “陡峭 ”的 曲 
线 代表 加 速度 大 甚至 不 连续 ， 这 样 很 有 可 能 导致 反馈 控制 模块 (Feedback Control ) 无 法 
实际 执行 。 所以， 每 条 曲线 所 代表 的 速度 方案 均 有 一 个 整体 的 Cost。 实 际 上 ， 如 何 根据 
上 游 输出 和 下 游 限制 来 调整 Cost, 是 速度 规划 中 的 S-T 图 算法 的 关键 设置 。 在 设置 好 Cost 
的 基础 上 ， 最 小 Cost 轨迹 的 产生 可 以 用 类 似 A* 或 者 Dijkstra 等 简单 搜索 算法 实现 ， 本 节 
将 不 再 资 述 。 在 得 到 了 最 小 Cost 的 S-T 路 径 后 ， 可 以 简单 算出 任何 一 个 轨迹 位 置 的 速度 
(对 应 S-T 图 任意 点 和 斜率) 和 加 速度 ( 斜率 的 导数 )， 从 而 完成 速度 规划 的 计算 。 


结合 7.4.1 节 中 的 轨迹 规划 和 7.4.2 节 中 的 速度 规划 ,至 此 我 们 已 经 能 够 将 无 人 车 在 基 
于 周边 环境 和 行驶 目的 地 下 做 出 的 行为 层面 决策 ,通过 一 些 列 模块 的 计算 转化 成 具体 的 带 
有 位 置 . 速度 信息 的 时 空 轨 迹 点 。 我 们 将 轨迹 规划 输出 的 曲线 上 按照 均匀 时 间 间 隔 提 取 抽 
样 点 , 并且 将 速度 规划 的 结果 信息 填充 到 这 些 抽 样 点 中 。 这 些 带 有 速度 、 加 速度 、 角 加 速 
度 的 时 空 轨迹 点 将 被 发 给 下 游 的 反馈 控制 模块 ,进行 无 人 车 控制 规划 流程 中 的 最 后 实际 车 
辆 执行 的 步骤 。 


7.5 “反馈 控制 


单独 从 车 辆 的 姿态 控制 的 角度 来 看 ,无 人 车 反馈 控制 部 分 和 普通 的 车 辆 反馈 控制 并 无 
本 质 不同 。 二 者 都 是 基于 一 定 的 预 设 轨迹 , 考虑 当前 车 辆 姿态 和 此 预 设 轨迹 的 误差 并 进行 
不 断 的 跟踪 反馈 控制 。 参 考 资料 [12] 中 列 出 了 很 多 关于 无 人 车 反馈 控制 的 工作 ， 其 中 
[10][12][14] 等 和 传统 的 车 辆 反馈 控制 的 不 同 之 处 在 于 在 传统 的 反馈 控制 中 加 入 了 基于 无 
人 车 对 障碍 物体 的 导 让 和 路 径 的 优化 选择 等 。 在 本 书 提出 的 整个 无 人 车 规划 控制 的 体系 架 
构 下 ， 我 们 的 无 人 车 反馈 控制 部 分 可 以 很 大 程度 上 借鉴 传统 的 车 辆 姿态 反馈 控制 的 工作 。 
由 于 这 部 分 工作 较为 传统 和 成 熟 , 本 书 不 做 为 重点 来 介绍 , 我 们 在 这 里 向 读者 介绍 最 重要 
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和 基本 的 两 个 概念 : 基于 车 辆 的 自行 车 模型 ， 以 及 PID 反馈 控制 I。 其 他 车 辆 姿态 反 
馈 控 制 的 工作 读者 可 以 参考 其 他 文献 。 


7.5.1 自行 车 模型 


为 了 更 清楚 地 描述 动作 规划 中 的 轨迹 生成 算法 ， 我 们 对 车 辆 的 模型 做 了 简单 的 介绍 。 
这 里 我 们 更 加 详细 地 介绍 一 种 无 人 车 反馈 控制 (Feedback Control ) 中 常用 的 车 辆 控制 模 
m. 自行 车 模型 。 自 行车 模型 所 代表 的 车 辆 姿态 处 于 一 个 二 维 的 平面 坐标 系 内 。 车 辆 的 姿 
AS (pose) 可 以 由 车 辆 所 处 的 位 移 (position) 及 车 身 和 坐标 平面 的 夹 角 ( heading) 完全 
描述 。 在 该 模型 下 , 我 们 认为 车 辆 前 后 轮 由 一 个 刚性 (rigid ) 不 变 的 轴 连 接 ， 其 中 车 辆 的 
前 轮 可 以 在 一 定 的 角度 范围 内 自由 转动 ， 而 车 辆 的 后 轮 保 持 和 车 身 的 平行 关系 不 能 转动 。 
前 轮 的 转动 对 应 实际 车 辆 控制 中 方向 盘 的 转动 。 这 种 自行 车 模型 的 一 个 重要 特征 是 : 车 辆 
无 法 在 不 做 出 向 前 移动 的 情况 下 进行 横向 位 移 。 这 种 特征 又 称 作 非 完整 性 约束 
(nonholonomic constraint ), 在 车 辆 模型 中 , 这 种 约束 根据 坐标 系 的 选择 不 同 , 往往 以 不 同 
形式 的 车 辆 动作 姿态 微分 方程 的 形式 呈现 。 另 外 读者 需要 注意 的 是 , 为 了 使 模型 的 计算 简 
单 , 我 们 忽略 车 辆 的 惯性 及 轮胎 接触 地 面 点 的 打滑 。 在 速度 较 低 的 情况 下 , 惯性 效应 带 来 
的 误差 较 小 可 以 忽略 ;但 是 在 高 速 运动 时 ,惯性 效应 对 反馈 控制 的 影响 往往 是 不 能 忽略 的 。 
高 速 状态 下 考虑 惯性 的 车 辆 动力 学 模型 更 复杂 ， 不 在 本 书 讨论 的 范围 之 内 。 

车 辆 的 自行 车 模型 所 代表 的 车 辆 姿态 如 图 7-14 所 示 。 这 里 使 用 一 个 基于 x-y 的 二 维 
平面 ， 其 中 & Ale, 分 别 代表 其 x 和 ?了 方向 的 单元 向 量 。 向 量 p, 和 向 量 pr 分 别 代 表 车 辆 
后 轮 和 前 轮 与 地 面 的 接触 点 。 车 辆 的 朝向 角 9 代表 车 辆 和 x 轴 的 夹 角 ( 即 向 量 p, 和 单元 
AE e 的 夹 角 )。 方向盘 转角 5 定义 为 前 轮 朝向 和 车 辆 朝向 角 的 夹 角 。 其 中 前 后 轮 与 地 面 
接触 点 的 向 量 pr 和 p, 之 间 满 足 : 

(P, ev)cos(O)-( 记 :er)=0 
(pr -&,)cos(0 + 8) - (py .zjsin(g+5)=0 

其 中 py 和 ,分 别 代表 车 辆 前 后 轮 在 和 地 面 接 触 点 处 的 瞬时 速度 向 量 。 考虑 车 辆 的 后 
轮 速度 在 xy MERRE xp ê lx, pec. ARTA SET UL S GR JE 
v, br (pr - p)! |p, - p| ,那么 上 述 的 向 量 py 和 jp, 之 间 的 关系 限制 在 后 轮 相关 分 量 上 
的 表现 形式 为 : 
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X, =v, cos(O) 
yr =v, sin(8) 
0 =v, tan(d)/1 
其 中 1 代表 车 辆 前 后 轴 中 心间 距 。 类 似 地 ， 用 车 辆 前 轮 相关 分 量 的 表现 形式 为 : 
Xy =v, cos(0 +d) 
yy 7 v.sin(0 + à) 
0-v,sin(ó)/l 


这 里 前 后 轮 的 切 向 速度 标量 大 小 满足 : w =vj cos(5) o 





B 7-14 车辆 控制 的 自行 车 模型 外 
在 上 述 车 辆 模型 下 ,反馈 控制 需要 解决 的 问题 之 一 便 是 找到 满足 车 辆 动态 姿态 限制 的 
方向 盘 转 角 5 E [Smin Ama] 及 前 向 速度 w €[SminsOmax] 。 值 得 一 提 的 是 ,为 了 简化 计算 ,入 
往 直接 考虑 朝向 角 的 变化 率 o 而 非 实际 的 方向 盘 转 角 9 。 这 样 便 有 tan(6)/1=w/vw =x, 
问题 简化 为 寻找 满足 条 件 的 朝向 角 变 化 率 ， 而 这 样 的 近似 常常 被 称 为 独 轮 车 模型 
( Unicycle Model )， 其 特点 是 前 进 速度 w 被 简化 为 只 与 朝向 角度 变化 率 和 轴 长 相关 。 


7.5.2 PID 反馈 控制 


一 个 典型 的 PID 反馈 控制 系统 的 结果 如 图 7-15 所 示 。 其 中 e(t) 代表 当前 的 跟踪 误差 ， 
而 这 个 跟踪 的 变量 误差 可 以 是 轨迹 的 纵向 /横向 误差 、 角 度 / 曲 率 误 差 或 者 是 若干 车 辆 姿态 
状态 变量 的 综合 误差 。 其 中 P 控制 器 代表 对 当前 误差 的 反馈 ， 其 增益 由 Kp 控制 ; 1 和 D 
控制 器 分 别 代表 积分 项 和 微分 项 ， 其 增益 分 别 由 天 和 Kp 控制 。 
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具体 到 无 人 车 的 反馈 控制 模块 ,我 们 需要 解决 的 问题 是 控制 车 辆 尽 可 能 遵循 上 游 动作 
规划 所 输出 的 时 空 轨迹 。 这 里 我 们 借鉴 参考 资料 [12] 中 的 思路 , 使 用 两 个 基于 PID 反馈 控 
制 的 控制 器 分 别 控制 方向 盘 转 角 5 及 前 进 速度 vy, 。 其 中 在 n 采样 时 刻 ， 控 制 方向 盘 转 角 
的 PID 控制 器 如 下 : 


n = KO. + Kale (Vs + Kole + Kay LA 


其 中 ,代表 当前 车 辆 朝向 和 动作 规划 输出 的 基准 轨迹 点 ( Reference Point ) 之 间 的 跟 

踪 角 度 误差 ，/ 代表 在 横向 位 置 相对 于 基准 轨迹 点 (Reference Point ) 的 误差 ，V 代表 车 
辆 在 纵向 方向 的 速度 。 在 车 辆 纵向 方向 的 PID 控制 器 主要 考虑 车 辆 的 轨迹 曲率 kveriwe 和 动 
作 规 划 输 出 的 基准 点 曲率 Kepeterence 。 根 据 曲率 ， 我 们 可 以 设计 一 个 跟踪 速度 误差 的 函数 
S (evenicies Kneterence) ， 那 么 在 纵向 的 目标 速度 变 为 : Vasa — V; — f (Kvetictes Kneterence) 。 根 据 此 
目标 速度 和 当前 车 辆 姿态 的 前 进 速度 内 ， 前 进 速度 的 PID 控制 器 可 以 写成 

V, = Vaesirea — Vs 

Uy = KyV, + Ki > VAt + KpAV, | At 


其 中 Kp 、Ki Al Kp 分 别 代表 当前 比例 项 、 积 分 项 和 微分 项 的 增益 ，Vr 代表 该 采样 
周期 输出 的 油门 控制 反馈 。 


以 上 两 种 对 于 方向 盘 和 油门 分 别 设计 的 PID 控制 器 可 以 认为 是 最 基本 的 无 人 车 反馈 
控制 的 实现 单元 。 为 了 使 行驶 过 程 更 加 平滑 顺畅 舒适 , 往往 在 曲率 误差 较 大 时 , 需要 设计 
更 复杂 的 反馈 控制 系统 对 车 辆 进行 控制 .对 于 车 辆 按照 预 设 轨迹 的 精确 控制 并 不 是 无 人 轰 
驶 的 特有 问题 , 且 已 经 有 很 多 可 行 的 解决 方案 , 感 兴趣 的 读者 可 以 参考 参考 资料 [12][17]。 
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作者 认为 整个 无 人 车 广义 规划 控制 范畴 下 的 路 由 寻 径 、 行 为 决策 、 动 作 规划 及 反馈 控 
制 等 几 大 模块 , 在 当前 的 学 术 界 和 工业 界 都 有 一 些 较 成 熟 的 解决 方案 可 以 借鉴 。 这 些 解决 
方案 有 些 有 着 牢固 的 理论 基础 和 数学 推导 ,还 有 的 在 实际 的 无 人 车 相关 工程 实践 中 有 着 出 
色 的 表现 ,事实 上 ,我 们 认为 单独 看 控制 规划 每 个 层面 需要 解决 的 问题 ,都 不 是 非常 困难 。 
如 何 将 整个 无 人 车 规划 控制 的 问题 有 效 清晰 地 划分 到 不 同 的 模块 ,并 且 将 各 个 上 下 游 模块 
的 解决 方案 配合 起 来 达到 整体 的 协调 效果 ， 才 是 无 人 车 广义 规划 控制 的 难点 和 挑战 所 在 。 
从 这 个 角度 讲 , 本 书 并 不 着 力 于 以 调研 的 形式 介绍 所 有 模块 层面 的 现存 解决 方案 , 而 是 着 
眼 于 清晰 地 提供 一 套 有 效 划 分 无 人 车 控制 规划 这 一 复杂 问题 到 不 同 层面 子 问题 的 方法 。 我 
们 试图 向 读者 展示 ,如 何 有 效 地 将 无 人 车 控制 规划 这 样 一 个 复杂 问题 自 上 而 下 地 进行 分 割 ， 
并 且 明 确 每 个 层面 需要 解决 的 具体 问题 的 范围 和 限制 。 在 这 个 基础 上 , 我 们 再 详细 介绍 每 
个 模块 的 一 种 或 几 种 可 行 的 解决 算法 。 我 们 希望 通过 展示 这 样 的 “分 而 治之 ”的 控制 规划 
和 解决 思路 ， 有 益 于 读者 对 整个 无 人 车 控制 规划 系统 运作 的 了 解 。 


77 参考 资料 


[1 


— 


Proactive MDP-based Collision Avoidance Algorithm for Autonomous Cars. D, 
Osipychev, D. Tran, W. Sheng, G. Chowdhary, R. Zeng. IEEE International 
Conference on Cyber Technology in Automation, Control and Intelligent Systems 
(CYBER), 2015. 


[2 


— 


Probabilistic MDP-Behavior Planning for Cars. S. Brechtel, R. Dillmann. JEEE 


Conference on Intelligent Transportation Systems. October 2011. 


[3 


— 


Probabilistic Online POMDP Decision Making for Lane Changes in Fully 
Automated Driving. S. Ulbrich and M. Maurer. 16" International Conference on 


Intelligent Transportation Systems (/TSC), 2013. 


[4] ASurvey of Motion Planning and Control Techniques for Self-Driving Urban 
Vehicles. B. Paden, M. Cap, S.Z. Yong, D. Yershow and E. Frazzolo. IEEE 
Transactions on Intelligent Vehicles, vol. 1, no. 1, pp. 33-55, 2016. 


[5 


— 


The DARPA Urban Challenge: Autonomous Vehicles in City Traffic. Editors: 


Srjs.cn 000000 105 4 


E: 第 一 本 无 人 驾驶 技术 书 


Buehler, Martin, lagnemma, Karl, Singh, Sanjiv(Eds.) 2009. 


[6] Junior: The Stanford Entry in the Urban Challenge. M. Montemerlo, J. Becker, S. 
Bhat, H. Dahlkamp, D. Dolgov, S. Ettinger, D. Haehnel, T. Hilden, G. Hoffmann, B. 
Huhnke, D. Johnston, S. Klumpp, D. Langer, A. Levandowski, J. Levinson, J. Marcil, 
D. Orenstein, J. Paefgen, I. Penny, A. Petrovskaya, M. Pflueger, G. Stanek, D. 
Stavens, A. Vogt, S. Thrun. Journal of Field Robotics: Special Issue on the 2007 
DARPA Urban Challenge. Volume 25, Issue 9, September 2008, Pages 569-597. 


[7] https://en.wikipedia.org/wiki/PID controller. 
[8] Dijkstra's Algorithm.https://en.wikipedia.org/wiki/Dijkstra's algorithm. 
[9] A* Algorithm. Http://web.mit.edu/eranki/www/tutorials/search/. 


[10] Focused Trajectory Planning for Autonomous On-Road Driving. T.Gu, J. Snider, J.M. 
Dolan, J. Lee. JEEE Intelligent Vehicles Symposium (IV), 2013. 


[11] Parallel Algorithms for Real-time Motion Planning. Matthew Mcnaughton. Doctoral 


Dissertation. Robotics Institute, Carnegie Mellon University, 2011. 


[12] Dynamic Curvature Steering Control for Autonomous Vehicle: Performance 
Analysis. M.A. Zakaria, H. Zamzuri, S.A. Mazlan. JOP Conference series: Materials 
Science and Engineering 114(2016) 012149. 


[13] Polynomial Spiral. http://web.calstatela.edu/curvebank/waldman4/waldman4.htm. 


[14] Trajectory Generation and Control Methodology for an Ground Autonomous Vehicle. 
J. Connors and G.H. Elkaim. AJAA Guidance, Navigation and Control Conference. 


[15] Real-time motion planning methods for autonomous on-road driving: State-of-the-art 
and future research directions. Christos Katrakazas, Mohammed Quddus, Wen-Hua 
Chen, Lipika Deka. Elsevier Transporation Research Park C: Emerging Technologies. 
Volume 60, November 2015, Pages 416-442. 


[16] National Instruments: http://www.ni.com/white-paper/3782/en/. 


[17] 基于 四 阶 贝 塞 尔 曲线 的 无 人 车 可 行 轨 迹 规划 . 陈 成 , 何 玉 庆 ,下 春光 , 韩 建 达 . B 
动 化 学 报 ，2015, 41(3): 486-496. 


a 106 srjscn 000000 


7 无 人 驾驶 的 规划 与 控制 1l 


[18] Autonomous Driving in Urban Environments: Boss and the Urban Challenge, C. 
Urmson, J. Anhalt, D. Bagnell, C. Baker, R. Bittner, M.N. Clark, J. Dolan, D. 
Duggins, T. Galatali, C. Geyer, M. Gittleman, S. Harbaugh, M. Hebert, T. M. Howard, 
S.Kolski, A. Kelly, M. Likhachev, M. McNaughton, N. Miller, K. Peterson, B. Pilnick, 
R. Rajkumar, P. Rybski, B. Salesky, Y.W. S, S. Singh, J. Snider, A. Stentz, W. 
Whittaker, Z. Wolkowicki, J. Ziglar, H. Bae, T. Brown, D. Demitrish, B. Litkouhi, J. 
Nickolaou, V. Sadekar, W. Zhang, J. Struble, M. Taylor, M. Darms, D. Ferguson. 
Journal of Field Robotics: Special Issue on the 2007 DARPA Urban Challenge. 
Volume 25, Issue 9, September 2008, Pages 425-466. 


[19] Earth Coordination System https://en.wikipedia.org/wiki/Geographic coordinate / 


system. 


107 A 
sjs.cn 000000 





基于 ROS 的 无 人 驾驶 
系统 


本 章 着 重 介绍 基于 机 器 人 操作 系统 ROS 的 无 人 驾驶 系统 。 无 人 驾驶 系统 是 个 十 分 复 
杂 的 软 硬 件 系统 ,为 了 支持 这 个 复杂 的 系统 更 有 效 的 运行 ,我 们 需要 一 个 操作 系统 去 整合 、 
管理 ， 以 及 调度 不 同 的 模块 。ROS 作为 一 个 相对 成 熟 的 机 器 人 操作 系统 ， 很 适合 使 用 在 
无 人 鸭 驶 系统 中 。 本 章 作者 将 介绍 机 器 人 操作 系统 ROS 及 ROS 在 无 人 驾驶 场景 上 的 优 缺 
点 ， 以 及 讨论 如 何在 ROS 的 基础 上 提升 无 人 驾驶 系统 的 可 靠 性 、 通 信 性 能 及 安全 性 。 


8.1 无 人 驾驶 : 多 种 技术 的 集成 


无 人 驾驶 技术 是 多 个 技术 的 集成 , 如 图 8-1 Ara, 一 个 无 人 驾驶 系统 包含 了 多 个 传 感 
器 ， 包 括 长 距 雷达 、 激 光 雷 达 、 短 距 和 雷达 、 摄 像 头 、 超 声波 、GPS 、 陀 螺 仪 等 。 每 个 传 感 
器 在 运行 时 都 不 断 产生 数据 ,而 且 系统 对 每 个 传感器 产生 的 数据 都 有 很 强 的 实时 处 理 要 求 。 
例如 摄像 头 需要 达到 60 FPS 的 帧 率 , 意味 着 留 给 每 帧 的 处 理 时 间 只 有 16 毫秒 , 但 当 数据 
量 增 大 之 后 ,分 配 系统 资源 便 成 了 一 个 难题 。 例 如 , 当 大 量 的 激光 雷达 点 云 数据 进入 系统 ， 
占 满 CPU 资源 ， 就 很 可 能 令 摄像 头 的 数据 不 能 得 到 及 时 处 理 ， 导 致 无 人 芍 驶 系统 错过 交 
通 灯 的 识别 ， 造 成 严重 后 果 。 
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图 8-1 基于 多 传感器 融合 的 无 人 驾驶 系统 范例 


如 图 8-2 所 示 ， 无 人 鸭 驶 系统 整合 了 多 个 软件 模块 ， 包 括 有 路 径 规划 、 避 障 、 导 航 、 
交通 信号 监测 等 ， 以 及 多 个 硬件 模块 , 包括 计算 模块 、 控 制 模 块 、 传 感 器 模块 等 ,如 何 有 
效 地 调配 软 硬 件 资源 是 一 个 挑战 。 具 体 有 如 下 几 个 问题 : 第 一 , 软 硬 件 模块 数据 增加 , 运 
行 期 间 难 免 有 些 模 块 会 出 现 异 常 退出 , 或 者 导致 系统 崩溃 。 在 这 种 情况 下 , 如何 为 系统 提 
供 自 修复 能 力 ? 第 二 , 由 于 模块 之 间 有 很 强 的 联系 , 如 何 管理 模块 间 的 有 效 通 信 ? 对 于 关 
键 模 块 间 的 通信 , 信息 不 可 丢失 , 不 可 有 过 大 的 延 时 。 第 三 , 每 个 功能 模块 间 如 何 进 行 资 
源 隔离 ， 如 何 分 配 计算 与 内 存 资 源 ， 当 资源 不 足 时 如 何 确认 更 高 的 优先 级 执行 ? 


Navigation 


*Encoder 
*GPS 





图 8-2 ”无 人 驾驶 软 硬 件 整合 结构 图 
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简单 的 戏 入 式 系统 并 不 能 满足 上 述 无 人 轰 驶 系统 的 需求 ， 我 们 需要 一 个 成 熟 、 稳 定 、 
高 性 能 的 操作 系统 来 管理 各 个 模块 。 在 经 过 详细 调研 后 ， 我 们 觉得 机 器 人 操作 系统 ROS 
比较 适合 无 人 驾驶 场景 。 在 8.2 节 中 我 们 会 介绍 ROS 的 优 缺 点 ， 以 及 在 ROS 上 增加 什么 
功能 使 之 更 适用 于 无 人 驾驶 系统 。 


8.2 ”机 器 人 操作 系统 ( ROS ) 简介 


ROS 是 Willow Garage 公司 2010 年 发 布 的 开源 机 器 人 操作 系统 ， 由 于 其 具有 点 对 点 
设计 、 不 依赖 编程 语言 、 开 源 等 特点 ， 短 短 几 年 时 间 ROS 便 成 为 了 全 世界 机 器 人 研究 的 
热门 仿真 开发 操作 平台 。 中 ROS 之 所 以 被 称 为 操作 系统 ， 是 因 其 具有 与 操作 系统 类 似 的 
硬件 抽象 、 底 层 驱 动 管理 、 消 息 传递 等 功能 ， 然 而 它 并 不 是 真正 意义 上 的 操作 系统 ， 只 能 
算是 中 间 件 。ROS 具有 很 强 的 代码 可 复 用 性 和 硬件 抽象 性 能 ， 采 用 分 布 式 架构 ， 通 过 各 
功能 独立 的 节点 (Node ) 实现 消息 传递 任务 的 分 层次 运行 ， 从 而 减轻 实时 计算 的 压力 。 
此 外 ，ROS 是 一 个 强大 并 且 灵 活 的 机 器 人 编程 框架 ，ROS 为 常用 的 机 器 人 和 传感器 提供 
了 硬件 驱动 接口 。 从 软件 架构 角度 讲 , 它 是 一 种 基于 消息 传递 通信 的 ,分 布 式 多 进程 框架 。 
ROS 很 早 就 被 机 器 人 行业 使 用 , 很 多 知名 的 机 器 人 开源 库 , 例如 基于 quaternion 的 坐标 转 
换 、3D 点 云 处 理 驱动 、 规 划 方 面 的 Movelt, OpenRAVE 规划 库 、 控 制 方面 的 OROCOS 
实时 运动 控制 库 、 视 觉 图 像 处 理 方面 的 OpenCV 和 PCL 开源 库 、 定 位 算法 SLAM 等 都 是 
开源 贡献 者 基于 ROS 开发 的 。 


8.2.1 ROS 中 的 基本 组 成 


ROS 中 最 重要 的 概念 包括 节点 、 节 点 管理 器 、 参 数 服务 器 、 消 息 、 主 题 、 服 务 和 任 
务 等 。 

C1) A (Node): 节点 是 用 来 实现 运算 功能 的 进程 ,ROS 机 器 人 仿真 框架 由 功能 独 
立 的 节点 组 成 。 移动 操 作 机 械 臂 仿真 时 , 激光 距离 传感器 节点 用 来 读 取 激光 数据 ,电机 控 
制 节点 用 来 读 取 电机 信息 并 控制 电机 转动 ,路 径 规划 节点 用 来 实现 移动 平台 的 运动 轨迹 规 
划 ， 特 定 功 能 的 节点 各 司 其 职 ， 从 而 构成 了 完整 的 机 器 人 仿真 系统 。 

(2) 节点 管理 器 (Master): 顾名思义 ， 节 点 管理 器 主要 用 来 管理 节点 。 每 个 节点 都 
需要 通过 节点 管理 器 实现 节点 名 字 的 注册 ,节点 之 间 的 相互 查找 也 需要 在 节点 管理 器 内 进 
行 。 缺少 了 节点 管理 器 ， 节 点 间 将 不 能 进行 信息 传输 ， 服 务 和 任务 都 将 无 法 找到 服务 器 。 
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(3) 参数 服务 器 ( Parameter Server): 参数 服务 器 的 主要 目的 是 节点 运行 时 用 来 存 取 
参数 ， 它 并 不 是 用 来 实现 高 效能 的 数据 传输 ， 而 是 用 来 存放 节点 运行 所 需 的 配置 参数 。 


(4) 消息 (Message ): 节点 之 间 的 通信 内 容 称 为 消息 。 一 个 消息 是 一 个 由 类 型 域 构成 
的 简单 的 数据 结构 。 它 以 基本 型 的 阵列 形式 支持 标准 的 原始 属于 类 型 ( 像 整 型 、 浮 点 型 、 
布尔 型 等 


(5) 主题 ( Topic): 节点 之 间 的 消息 传输 围绕 一 个 特定 的 主题 。 主 题名 称 就 是 传输 消 
息 的 主要 内 容 。 如 图 8-3 所 示 , 在 特定 的 主题 下 ,节点 可 以 发 布 满足 消息 类 型 要 求 的 消息 ， 
当 其 他 节点 需要 该 话题 的 消息 内 容 时 , 它 只 需要 创建 接收 器 并 接收 该 主题 即 可 。 一 个 节点 
可 以 同时 发 布 和 接收 多 个 主题 。 主题 发 布 者 和 主题 接收 者 不 知道 对 方 的 存在 , 通过 节点 管 
理 器 ， 节 点 发 布 者 能 够 获知 当前 主题 接收 节点 的 个 数 。 主 题 的 发 布 /接收 模式 是 一 种 弹性 
的 异步 通信 方式 , 类 似 于 围绕 共同 主题 的 多 入 聊天 室 , 每 个 人 都 可 以 自由 地 发 表 符合 主题 
要 求 的 消息 ， 然 而 这 种 方式 并 不 能 保证 发 布 的 消息 能 够 得 到 及 时 响应 。 





HET, 主题 接收 








8-3 ROS 主题 发 布 /接收 机 制 示意 图 


1. ARS (Service) 


如 图 8-4 所 示 ，ROS 中 的 服务 是 一 种 利用 同步 通信 的 方式 请 求 /回复 交互 的 分 布 式 系 
统 。 提供 服务 的 节点 称 为 服务 器 端 , 其 他 节点 通过 发 送 满足 服务 请 求 格式 要 求 的 消息 使 用 
服务 ， 它 们 被 称 为 客户 端 。 因 此 ， 服 务 需要 请 求 和 回复 这 一 对 消息 结构 。 
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请 求 


^ 
Request ay 


回复 


s 
S Response 
* 





图 8-4 ROS 服务 请 求 /回复 机 制 示意 图 
2. 任务 (Action) 


ROS 中 的 Action 功能 包 主 要 用 来 实现 服务 器 端 (Server) 和 客户 端 (Client) 之 间 的 
信息 交换 。 如 图 8-5 所 示 , 任务 机 制 中 包含 了 五 个 基本 的 主题 , 第 头 的 方向 指示 了 消息 的 
传输 方 和 接收 方 。 客 户 端 向 服务 器 端 发 布 机 器 人 期 望 状态 信息 , 轨迹 跟踪 控制 服务 器 端 接 
收 到 目标 指令 后 ,将 发 布 命令 启动 轨迹 跟踪 控制 器 并 能 够 实时 获得 机 器 人 的 当前 状态 信息 ， 
服务 器 端 会 向 客户 端 发 送 实时 状态 反馈 及 最 终 执行 结果 。 在 当前 任务 完成 以 后 , 便 可 以 立 
即 完成 下 一 个 任务 。 如 果 需 要 取消 当前 任务 , 客户 端 可 以 向 服务 器 端 发 送 取消 指令 并 重新 
发 送 新 的 目标 , 如 果 不 取消 当前 任务 直接 发 送 新 任务 , 服务 器 端 会 按照 优先 级 顺序 完成 任 
务 。 





图 8-5 客户 端 与 服务 器 端的 消息 传输 方式 示意 图 
因为 ROS 本 身 是 基于 消息 机 制 的 ， 这 样 的 做 法 使 得 模块 开发 者 可 以 根据 软件 的 功能 
把 软件 拆 分 成 各 个 模块 ， 每 个 模块 只 负责 读 取消 息 和 分 发 消息 ， 每 个 模块 通过 消息 关联 。 
如 图 8-6 所 示 ， 最 左边 的 节点 可 能 会 负责 从 硬件 驱动 读 取 数据 ( 比如 Kinect )， 读 出 的 数 


据 会 以 消息 的 方式 打包 ，ROS 底层 会 识别 这 个 消息 的 使 用 者 ， 然 后 把 消息 数据 分 发 给 他 
们 。 
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图 8-6 ROS 系统 结构 原理 


8.22 ROS 1.0 Vs. ROS 2.0 


ROS 1.0 起 源 于 Willow Garage 的 PR2 项 目 ， 主 要 的 部 件 分 为 3 fh: ROS Master, 
ROS Node fil ROS Service, ROS Master 的 主要 功能 是 命名 服务 ， 它 存储 了 启动 时 需要 的 
运行 时 参数 ， 消 息 发 布 上 游 节点 和 接收 下 游 节点 的 连接 名 和 连接 方式 ， 和 已 有 ROS 服务 
的 连接 名 。ROS Node 是 真正 的 执行 模块 ， 对 于 收 到 的 消息 进行 处 理 ， 并 且 发 布 新 的 消息 
给 下 游 节 点 。ROS Service 是 一 种 特殊 的 ROS 节点 ， 相 当 于 一 个 服务 节点 ， 接 受 请 求 并 
返回 请 求 的 结果 。 图 8-7 展示 了 ROS 通信 的 流程 顺序 ， 首 先 节点 会 向 master 节点 发 布 
(advertise ) 或 者 订阅 (subscribe ) 感 兴趣 的 主题 ( topic )。 当 创建 连接 时 ， 下 游 节点 会 向 
上 游 节点 TCP Server 发 布 连接 请 求 ， 等 连接 创建 后 ， 上 游 节点 的 消息 会 通过 连接 送 至 下 
游 节 点 。 





















TCP server foo:2345 
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LaserScan data messages 


TCP 


图 8-7 ROS Master Node 通信 模型 
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ROS 2.0 主要 是 为 了 让 ROS 能 够 符合 工业 级 的 运行 标准 , 这 里 主要 采用 了 DDS 这 个 
工业 级 别 的 中 间 件 负责 可 靠 通信 , 通信 节点 动态 发 现 , 而 且 用 shared memory 方式 使 得 通 
信 效 率 更 高 。 使 用 DDS 以 后 ， 所 有 节点 的 通信 拓扑 结构 都 是 依赖 于 动态 P2P 的 自发 现 模 
式 ， 也 就 去 掉 了 ROS Master 这 个 中 心 节 点 。 如 图 8-8 所 示 ，RTI Context, PrismTech 
OpenSplice 和 Twin Oaks 都 是 DDS 的 中 间 件 提供 商 , 上层 通过 DDS API 封装 , 这样 DDS 
的 实现 对 于 ROS Client 透明 。 在 设计 上 ，ROS 主页 详细 讨论 了 用 DDS 的 原因 
http://design.ros2.0rg/articles/ros_on_dds.html。 


i optional 


| occess 

1 to DDS 

| specific API 
1 





18-8 ROS2.0DDS 系统 分 层 示意 图 


在 无 人 车 驾驶 系统 中 , 我 们 选择 ROS1.0 作为 我 们 的 开发 平台 , 之 所 以 选择 ROS 1.0 
而 不 是 ROS 2.0 主要 有 以 下 几 点 考虑 。 


(1) ROS 2.0 还 是 一 个 开发 中 的 框架 ， 很 多 功能 不 是 很 完整 ， 需 要 更 多 测试 与 验证 。 
在 无 人 驾驶 环境 中 , 稳定 性 与 安全 性 是 至 关 重 要 的 , 我 们 需要 基于 一 个 已 经 经 过 验证 的 稳 
定 系 统 来 保证 系统 的 稳定 性 和 安全 性 ， 并 提升 其 性 能 以 达到 无 人 车 的 要 求 。 


(2) DDS 本 身 的 耗费 。 我 们 测试 了 在 ROS 1.0 上 直接 使 用 DDS 中 间 件 的 性 能 代价 。 
国防 科技 大 学 有 一 个 开源 项 目 MicROS ( https://github.com/cyberdb/micROS-drt ) 在 这 方面 
已 经 做 了 相关 的 尝试 。 实验 发 现 , 在 一 般 的 ROS 通信 场景 中 ( 100K 发 送 者 接收 者 通信 )， 
ROS on DDS 的 吞吐 率 并 不 及 ROS1.0。 主 要 原因 是 DDS 本 身 框架 的 耗费 比 ROS 多 一 些 ， 
同时 用 了 DDS 以 后 的 CPU 占用 率 有 明显 提高 。 但 是 我 们 也 确认 了 使 用 DDS 之 后 , ROS 
的 QoS 高 优先 级 的 吞吐 率 和 组 播 能 力 有 了 大 幅 提 升 。 我 们 的 测试 基于 PrismTech 
OpenSplice 的 社区 版 ， 在 它 的 企业 版 中 有 针对 单机 的 优化 ， 比 如 使 用 了 共享 内 存 的 优化 ， 
这 个 我 们 暂 未 具体 测量 。 
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DDS 接口 的 复杂 性 。DDS 本 身 就 是 一 套 庞 大 的 系统 ， 其 接口 定义 极其 复杂 ， 同 时 ， 
文档 支持 较 薄 弱 ， 这 也 是 我 们 不 想 直接 使 用 的 一 个 原因 。 


8.3 ”系统 可 靠 性 


如 上 文 所 述 , 系统 可 靠 性 是 无 人 驾驶 系统 最 重要 的 特性 。 试 想 几 个 场景 : 第 一 , 系统 
运行 时 ROS 的 MASTER 出 错 退 出 ， 导 致 系统 崩 江 ;第 二 ， 其 中 一 个 ROS 的 节点 出 错 ， 
导致 系统 部 分 功能 缺失 。 以 上 任何 一 个 场景 在 无 人 驾驶 环境 中 都 可 能 造成 严重 的 后 果 。 对 
ROS 而 言 ， 其 在 工业 领域 的 应 用 可 靠 性 是 非常 重要 的 设计 考量 , 但 是 目前 的 ROS 设计 对 
这 块 考虑 得 比较 少 ， 本 节 将 讨论 实时 系统 的 可 靠 性 所 涉及 的 一 些 方面 。 


8.3.1 去 中 心 化 


ROS 的 重要 节点 需要 热 备份 ， 宕 机 可 以 随时 切换 。 在 ROS 1.0 的 设计 中 ， 主 节点 维 
护 了 系统 运行 所 需 的 连接 信息 、 参 数 信息 及 主题 信息 ， 如 果 ROS Master 宕 机 了 ， 整 个 系 
统 就 有 可 能 无 法 正常 运行 。 去 中 心 化 的 解决 方案 有 很 多 ， 如 图 8-9 Aras, 为 了 解决 这 个 问 
题 ,我 们 可 以 采用 类 似 ZooKeeper 采用 主 从 节点 的 方式 ,同时 主 节点 的 写 入 信息 随时 备份 ， 
主 节点 宕 机 后 ， 备 份 节点 被 切换 为 主 节点 ， 并 且 用 备份 的 主 节点 完成 信息 初始 化 。 中 
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8.8.2 ”实时 监控 和 报警 


对 于 运行 的 节点 实时 监控 其 运行 数据 ， 并 在 必要 时 报警 。 目 前 ，ROS 并 没有 针对 监 
控 做 太 多 的 构架 考虑 . 然而 这 块 恰恰 是 最 重要 的 。 对 于 运行 时 的 节点 , 监控 其 运行 数据 比 
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如 应 用 层 统 计 信 息 、 运 行 状 态 等 都 对 将 来 的 调试 、 错 误 追 踪 有 很 多 好 处 。 在 检测 到 严重 的 
pa 息 时 必须 报 敌 。 如 图 8-10 所 示 ， 从 软件 构架 层 上 来 说 主要 分 成 3 部 分 : ROS. 节点 
的 监控 数据 API, 让 开发 者 能 够 设置 所 需 的 统计 信息 , 通过 统一 的 API 进行 记录 ; 监控 
人 对 于 紧急 的 报警 信息 , 节点 可 以 把 消息 推送 给 监控 服务 
端 ); 获取 到 监控 数据 后 ， 监 控 服 务 端 对 数据 进行 整合 、 分 析 和 记录 ， 在 察觉 到 异常 信息 
后 就 会 报警 。 
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图 8-10. SEF ZooKeeper 的 监控 和 报警 原理 示意 图 
8.8.3 ”节点 宕 机 状态 恢复 


节点 宕 机 时 , 需要 通过 重启 的 机 制 恢复 节点 , 这 个 重启 可 以 是 无 状态 的 , 但 有 时 也 必 
须 是 有 状态 的 , 因此 状态 的 备份 格外 重要 。 节点 的 宕 机 检测 也 是 非常 重要 的 , 如 果 察 觉 到 
证 点 宕 机 ,必须 很 快 使 用 备份 的 数据 重启 。 这 个 功能 我 们 已 经 在 ZooKeeper 框架 下 实现 了 。 


8.4 ”系统 通信 性 能 提升 


由 于 无 人 驾驶 系统 模块 很 多 , 模块 间 的 信息 交互 很 频繁 , 提升 系统 通信 性 能 会 对 整个 
系统 性 能 有 很 大 提升 。 我 们 主要 从 三 个 方面 提高 性 能 。 


第 一 , 目前 同一 个 机 器 上 的 ROS 节点 间 的 通信 是 使 用 网 络 栈 的 loop-back 机 制 , 也 就 
是 说 每 一 个 数据 包 都 需要 经 过 多 层 软件 栈 处 理 ， 这 将 造成 不 必要 的 延 时 ( 每 次 20 微 秒 左 
右 ) 与 资源 消耗 。 为 了 解决 这 个 问题 , 我们 可 以 使 用 共享 内 存 的 方法 把 数据 memory-map 
到 内 存 中 ， 然 后 只 传递 数据 的 地 址 与 大 小 信息 ， 从 而 把 数据 传输 延 时 控制 在 20 微 秒 内 ， 
并 且 节 省 了 许多 CPU 资源 。 
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第 二 ,现在 ROS 做 数据 broadcast 的 时 候 ， 底 层 实现 其 实 是 使 用 multiple unicast, 也 
就 是 多 个 点 对 点 的 发 送 。 假 如 要 把 数据 传 给 5 个 节点 , 那么 同样 的 数据 会 被 复制 5 份 。 这 
造成 了 很 大 的 资源 浪费 , 特别 是 内 存 资 源 的 浪费 。 另 外 , 这 样 也 会 对 通信 系统 的 吞吐 量 造 
成 很 大 压力 。 为 了 解决 这 个 问题 ， 我 们 使 用 了 组 播 multicast 机 制 : 在 发 送 节点 和 每 一 接 
收 节点 之 间 实 现 点 对 多 点 的 网 络 连 接 。 如 果 一 个 发 送 节 点 同时 给 多 个 接收 节点 传输 相同 的 
数据 , 也 只 需 复制 一 份 相同 的 数据 包 即 可 。 它 提高 了 数据 传送 效率 , 减少 了 骨干 网 络 出 现 
拥塞 的 可 能 性 。 图 8-11 对 比 了 原 有 的 通信 机 制 与 组 播 机 制 的 性 能 ， 随 着 接收 节点 数量 的 
增加 (XX 轴 ), 原 有 的 通信 机 制 的 数据 吞吐 量 急 剧 下 降 ， 而 组 播 机 制 的 数据 吞吐 量 比较 平 
稳 ， 没 有 受到 严重 影响 。 
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图 8-11 Multicast 性 能 提升 


第 三 ， 对 ROS 的 通信 栈 研究 后 我 们 发 现 ， 通 信 的 延 时 很 大 的 损耗 是 在 数据 的 序列 化 
与 反 序 列 化 的 过 程 中 。 序 列 化 是 将 内 存 里 对 象 的 状态 信息 转换 为 可 以 存储 或 传输 的 形式 的 
过 程 。 在 序列 化 期 间 , 对 象 将 其 当前 状态 写 入 临时 或 持久 性 存储 区 。 以 后 , 可 以 通过 从 存 
储 区 中 读 取 或 反 序列 化 对 象 的 状态 重新 创建 该 对 象 。 为 了 解决 这 个 问题 , 我 们 使 用 了 轻 量 
级 的 序列 化 程序 ， 将 序列 化 的 延 时 降低 了 50%。 


85 ”系统 资源 管理 与 安全 性 


我 们 现在 可 以 想象 两 个 简单 的 攻击 场景 。 第 一 ， 其 中 一 个 ROS 的 节点 被 劫持， 然后 
不 断 地 进行 内 存 分 配 ， 导 致 其 系统 内 存 消 耗 殉 尽 ， 造 成 系统 OOM 开始 关闭 不 同 的 ROS 
节点 进程 , 使 整个 无 人 驾驶 系统 崩溃 。 第 二 , ROS 的 topic 或 者 service 被 劫持 , HB ROS 
节点 之 间 传 递 的 信息 被 伪造 ， 从 而 导致 无 人 驾驶 系统 的 异常 行为 。 
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E: 第 一 本 无 人 驾驶 技术 书 


如 何 解决 资源 分 配 与 安全 问题 是 无 人 驾驶 技术 的 一 个 大 课题 ,我 们 选择 的 方法 是 使 用 
Linux Container ( LXC ) 管理 每 一 个 ROS 节点 进程 。B) 简单 来 说 ，LXC 提供 轻 量 级 的 虚 
拟 化 ， 以 便 隔 离 进程 和 资源 ， 而 且 不 需要 提供 指令 解释 机 制 及 全 虚拟 化 等 其 他 复杂 功能 ， 
相当 于 C++ 中 的 NameSpace。LXC 有 效 地 将 由 单个 操作 系统 管理 的 资源 划分 到 扳 立 的 群 
组 中 ， 以 更 好 地 在 孤立 的 群 组 之 间 平 衔 有 冲突 的 资源 使 用 需求 。 对 于 无 人 轰 驶 场景 来 说 ， 
LXC 最 大 的 好 处 是 性 能 损耗 小 。 我 们 测试 发 现 , 在 运行 时 , LXC 只 造成 了 5% 左 右 的 CPU 
损耗 。 


除了 资源 限制 外 ,LXC 也 提供 了 沙 盒 支 持 ,使 得 系统 可 以 限制 ROS 节点 进程 的 权限 。 
为 了 避免 可 能 有 危险 性 的 ROS 节点 进程 破坏 其 他 的 ROS 节点 进程 运行 , 沙 盒 技术 可 以 限 
制 可 能 有 危险 性 的 ROS 节点 进程 访问 磁盘 、 内 存 及 网 络 资源 。 另 外 ， 为 了 防止 节点 中 的 
通信 被 劫持 , 我 们 还 实现 了 节点 中 通信 的 轻 量 级 加 密 解 密 机 制 , 使 得 黑客 不 可 以 回放 或 更 


8.6 结论 


一 个 复杂 的 系统 需要 一 个 成 熟 有 效 的 管理 机 制 保证 其 运行 的 稳定 与 高 效 ,使 得 系统 中 
每 个 模块 发 挥 出 最 大 的 潜能 。 在 无 人 驾驶 场景 中 ，ROS 提供 了 这 样 一 个 管理 机 制 ， 使 得 
系统 中 的 每 个 软 硬 件 模块 都 能 有 效 的 互动 。 原 生 的 ROS 提供 了 许多 必要 的 功能 ， 但 是 这 
些 功能 并 不 能 满足 无 人 驾驶 的 所 有 需求 ， 因 此 我 们 在 ROS 之 上 进一步 提高 了 系统 的 性 能 
与 可 靠 性 , 完成 了 有 效 的 资源 管理 及 隔离 。 随 着 无 人 驾驶 技术 的 发 展 , 相信 更 多 的 系统 需 
求 会 被 提出 ， 比 如 车 车 互联 、 车 与 城市 交通 系统 互联 、 云 车 互联 、 异 构 计 算 硬 件 加 速 等 ， 
我 们 也 将 持续 优化 我 们 的 系统 ， 力 求 让 此 系统 变 成 无 人 驾驶 的 标准 系统 。 
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无 人 驾驶 的 硬件 平台 


本 章 将 着 重 介绍 无 人 驾驶 的 硬件 平台 设计 。 无 人 驾驶 系统 是 多 种 技术 、 多 个 模块 的 集 
mk, 其 中 包括 传感器 平台 、 计 算 平台 和 控制 平台 。 本 章 先 介绍 传感器 平台 , 这 是 巨人 驾驶 
系统 智能 的 关键 所 在 。 然 后 介绍 激光 雷达 、 毫 米 波 雷达 、 车 载 摄像 头 、GPS 、 陀 螺 仪 、 
V2X 等 现 有 传感器 解决 方案 ， 从 技术 原理 、 产 品 分 类 、 行 业 现状 等 多 方面 讨论 传感器 平 
台 在 无 人 驾驶 中 的 应 用 与 发 展 。 计算 平台 是 这 个 复杂 系统 的 大 脑 , 目前 正 值 无 人 芍 驶 的 高 
速 发 展期 , 业界 在 面向 无 人 驾驶 计算 的 专 有 芯片 设计 及 选择 上 也 是 百花 齐 放 , 有 基于 CPU, 
GPU, FPGA, DSP, VAR ASIC 驾驶 器 等 多 种 解决 方案 。 本 章 将 分 析 无 人 蜀 驶 任务 的 计 
算 需 求 ， 以 及 每 种 芯片 的 优 缺 点 ， 然 后 基于 分 析 讨 论 适 合 无 人 蜀 驶 的 已 片 设计 方案 。 控 
制 平台 是 无 人 车 的 核心 部 件 , 主要 包括 电子 控制 单元 与 通信 和 总 线 两 大 部 分 , 其 中 ECU X 
要 实现 控制 算法 , 通过 对 采集 的 各 机 械 部 件 传感器 信号 进行 运算 比较 , 完成 对 控制 部 件 多 
项 参数 的 控制 与 设置 通信 总 线 则 主要 实现 ECU 与 机 械 部 件 间 的 通信 ， 通 过 不 同 协议 的 
通信 总 线 有 效 地 解决 线路 信息 传递 中 的 复杂 化 问题 ,从 而 实现 对 整 车 多 种 控制 系统 的 总 控 。 


9.1 无 人 驾驶 : 复杂 系统 


ek ia apes 如 图 9-1 所 示 , 一 个 无 人 驾驶 系统 包含 了 多 个 传 感 
器 ， 包 括 长 距 雷 达 、 激 光 雷 达 、 短 距 雷 达 、 车 载 摄像 头 、 超 声波 、GPS、 陀 螺 仪 等 。 每 个 
传感器 在 运行 时 都 不 bns ,而 且 系统 对 每 个 传感器 产生 的 数据 都 有 很 强 的 实时 处 理 
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要 求 。 例 如 ,摄像头 需要 达到 60 FPS 的 帧 率 ， 意 味 着 留 给 每 帧 的 处 理 时 间 只 有 16 毫秒 ， 
当 数 据 量 增 大 之 后 , 分 配 系统 资源 便 成 了 一 个 难题 。 例 如 , 当 大 量 的 激光 雷达 点 云 数 据 进 
入 系统 ， 占 满 CPU 资源 ， 很 可 能 令 摄 像 头 的 数据 不 能 得 到 及 时 处 理 ， 导 致 无 人 驾驶 系统 
错过 交通 灯 的 识别 , 造成 严重 后 果 。 因 此 , 合理 地 选择 计算 平台 完成 实时 的 大 规模 传 感 数 
据 处 理 ， 进 行 实时 的 驾驶 预警 与 决策 ， 对 无 人 驾驶 的 安全 性 、 可 靠 性 、 持 续 性 至 关 重 要 。 
在 提供 高 性 能 的 数据 处 理 支 持 的 同时 ,计算 平台 还 需要 兼顾 功 耗 .散热 .硬件 体积 等 问题 ， 
这 对 于 持续 的 安全 行驶 同样 重要 。 因 此 , 在 现 有 无 人 车 计算 平台 中 , 各 种 硬件 模块 都 有 相 
关 集 成 解决 方案 。 不 同 的 计算 单元 通过 Switch 或 者 PCIe Switch 相连 ， 进 行 数 据 交 换 , SE 
成 协同 运算 。 无 人 驾驶 中 除了 需要 对 智能 驾驶 相关 的 传感器 数据 进行 计算 与 决策 , 还 需要 
传统 汽车 中 各 个 机 械 部 件 进行 配合 控制 ,完成 驾驶 操作 的 执行 与 转换 。 这 就 需要 控制 平台 : 
ECU 与 通信 总 线 的 协助 。ECU 从 用 途上 讲 是 汽车 专用 微机 控制 器 ， 它 使 用 一 套 以 精确 计 
算 和 大 量 实验 数据 为 基础 的 固定 程序 , 不 断 地 比较 和 计算 各 个 机 械 部 件 传感器 的 数据 , 然 
后 发 出 指令 ， 完 成 机 械 控制 。 通 信和 总 线 如 CAN、USB3.0、LIN 等 则 是 在 这 个 过 程 中 实现 
汽车 数据 共享 及 指令 的 有 效 传达 。 





图 9-1 无 人 驾驶 硬件 平台 示例 图 


9.2 ”传感器 平台 


目前 , 现 有 的 车 载 传 感 器 包括 超声 波 雷 达 、 激 光 和 雷达、 毫米 波 雷 达 、 车 载 摄像 头 、 红 
外 探头 等 。 主流 的 无 人 驾驶 传 感 平台 以 雷达 和 车 载 摄像 头 为 主 , 并 呈现 多 传感器 融合 发 展 
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的 趋势 。 基 于 测量 能 力 和 环境 适应 性 , 预计 雷达 和 车 载 摄像 头 会 持续 传感器 平台 霸主 的 地 
位 ， 并 不 断 地 与 多 种 传感器 融合 ， 发 展 出 多 种 组 合 版 本 。 


表 9-1 中 我 们 给 出 了 现 有 的 多 种 传感器 在 远 距 离 测量 能 力 、 分 辩 率 、 温 度 适 应 性 等 诸 
多 无 人 鸭 驶 关键 特性 上 的 性 能 表现 , 可 见 各 个 传感器 各 有 优 劣 , 无 法 在 单传 感 器 的 情况 下 
完成 对 无 人 驾驶 功能 性 与 安全 性 的 全 面 覆 盖 ， 这 也 显示 了 多 传感器 融合 的 必要 性 。 因 此 ， 
完备 的 无 人 轰 驶 系统 应 该 如 图 9-2 所 示 , 各 个 传感器 之 间 借 助 各 自 所 长 相互 融合 、 功 能 互 
补 、 互 为 备份 、 互 为 辅助 。 
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KE O ”红外 线 。 ”视觉 传感器 
RRA 0.2- - 

1-280m 120m 0.2-120m 0.2-30m 80-150m 


图 9-2 ”各 种 传感器 在 无 人 驾驶 中 的 应 用 


表 9-1 各 种 车 载 传感器 的 性 能 对 比 
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9.2.1 激光 雷达 


激光 雷达 的 工作 原理 是 利用 可 见 和 近 红 外 光波 (多 为 950nm 波段 附近 的 红外 光 ) 发 
射 . 反 射 和 接收 来 探测 物体 ,激光 雷达 可 以 探测 白天 或 黑夜 下 的 特定 物体 与 车 之 间 的 距离 。 
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由 于 反射 度 的 不 同 , 也 可 以 区 分 开车 道 线 和 路 面 , 但 是 无 法 探测 被 遮挡 的 物体 和 光束 无 法 
达到 的 物体 ， 在 雨 雪 筋 天 气 下 性 能 较 差 。 


激光 雷达 在 无 人 驾驶 运用 中 拥有 两 个 核心 作用 。 


(1) 3D 建 模 进行 环境 感知 。 通 过 雷 射 扫描 可 以 得 到 汽车 周围 环境 的 3D 模型 ， 运 用 
相关 算法 比 对 上 一 帧 和 下 一 帧 环境 的 变化 可 以 较 容易 地 探测 出 周围 的 车 辆 和 行人 。 


(2) SLAM 加 强 定位 。3D 雷 射 雷达 的 另 一 大 特性 是 同步 建 图 ( SLAM )， 实 时 得 到 的 
全 局 地 图 通过 和 高 精度 地 图 中 特征 物 的 比 对 ， 可 以 实现 导航 及 加 强 车 辆 的 定位 精度 。 


1. 激光 雷达 的 分 类 与 产品 


LIDAR 以 单线 /多 线 及 距离 两 大 因素 为 标准 ， 价 格 从 几 百 美元 到 几 万 美元 不 等 。 单 线 
激光 雷达 的 应 用 在 国内 已 相对 较 广 , 像 扫 地 机 器 人 使 用 的 便 是 单线 激光 雷达 。 单线 激光 雷 
达 可 以 获取 2D 数据 ， 但 无 法 识别 目标 的 高 度 信息 ， 而 多 线 激光 雷达 则 可 以 识别 2.5D 甚 
至 是 3D 数据 ,在 精度 上 会 比 单线 雷达 高 很 多 。 目 前 ， 在 国际 市 场 上 推出 的 主要 有 4 £X. 
8 线 、16 线 、32 线 和 64 线 。 随 着 线 速 的 提升 ， 其 识别 的 数据 点 也 随 之 增加 ， 所 要 处 理 的 
数据 量 也 非常 巨大 。 例 如 ，Velodyne 的 HDL-32E 传感器 每 秒 能 扫描 70 万 个 数据 点 ， 而 
百度 无 人 车 和 谷歌 无 人 车 配备 的 Velodyne HDL-64E 通 过 64 束 的 雷 射 束 进行 垂直 范围 26.8 
度 、 水 平 360 度 的 扫描 ， 每 秒 能 产生 的 数据 点 高 达 130 万 。Velodyne HDL-64E 的 内 部 结 
构 如 图 9-3 Brzs, 主要 由 上 下 两 部 分 组 成 。 每 部 分 都 发 射 32 束 的 雷 射 束 ， 由 两 块 16 RA 
雷 射 发 射 器 组 成 ， 背 部 包括 信号 处 理 器 和 稳定 装置 。 
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激光 雷达 雷 射 发 射 器 线束 越 多 , 每 秒 采 集 的 云 点 就 越 多 。 线 束 越 多 就 代表 雷 射 雷达 的 
造价 越 昂贵 , 以 Velodyne 的 产品 为 例 , 64 线束 的 雷 射 雷 达 价 格 是 16 线束 的 10 倍 。Google 
无 人 车 、 瑟 度 无 人 车 均 使 用 的 是 高 端 配置 的 多 线束 雷达 产品 。Velodyne HDL-64E 单个 定 
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制 的 成 本 在 8 万 元 左右 ， 如 表 9-2 所 示 。 目 前 ，Velodyne 公司 已 经 开发 出 了 相对 便宜 的 
LIDAR 传感器 版 本 HDL-32E 和 HDL-16E。 其 中 HDL-16E 由 16 束 雷 射 取 代 64 束 雷 射 ， 
支持 360 度 无 盲区 扫描 ， 牺 牲 一 定 的 数据 规模 云 点 ， 每 秒 钟 只 提供 30 万 个 数据 点 ， 但 是 
售 价 仍 高 达 8 千 美 元 ， 如 图 9-4 所 示 。 





19-4 Velodyne 激光 雷达 


表 9-2 Velodyne 激光 雷达 详细 参数 门 







扫描 范围 














正 负 2 厘米 
300,000 像素 / 秒 
30°/360° 

8 W 


激光 雷达 想 在 无 人 车 上 普及 首先 应 该 降低 价格 。 这 样 就 有 两 种 解决 办 法 : 其 一 是 采用 
低 线 数 雷达 配合 其 他 传感器 , 但 需 搭配 拥有 极 高 计算 能 力 系统 的 无 人 车 ; 其 二 是 采用 固态 
激光 雷达 。 现 今 有 旋转 部 件 的 激光 雷达 技术 较为 成 熟 ， 国 外 主流 生产 厂家 为 Velodyne 和 
Ibeo, P! Velodyne 采用 雷 射 发 射 、 接 收 一 起 旋转 的 方式 ， 产 品 涵盖 16/32/64 线 ; Ibeo 采用 
固定 雷 射 光源 , 通过 内 部 玻璃 片 旋转 的 方式 改变 雷 射 光束 方向 , 实现 多 角度 检测 ,产品 涵 
盖 4/8 线 。 激 光 雷 达 最 贵 的 就 是 机 械 旋转 部 件 ， 固态 激光 雷达 无 须 旋转 部 件 , 采用 电子 设 
RER, AMAR), 方便 集成 在 车 身 内 部 ,系统 可 靠 性 提高 , 成 本 也 可 大 幅 降 低 。 由 
于 缺乏 旋转 部 件 ， 水 平视 角 小 于 180。 ， 所 以 需要 多 个 固态 雷达 组 合 一 起 配合 使 用 才 行 。 







数据 频率 
角度 ( 垂直 /水 平 ) 
功率 
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fr CES2016 上 展 出 的 两 款 重 量 级 产品 ， 一 是 来 自 Quanergy 的 固态 (Solid State) 雷 
射 和 雷达 S3， 采 取 相 控 阵 技术 ， 内 部 不 存在 任何 旋转 部 件 ， 仅 为 一 盒 名 片 大 小 ， 单 个 售 价 
初步 定 在 250 美元 ， 量 产后 可 能 降 至 100 美元 ; P! 二 是 由 Velodyne 与 福特 共同 发 布 的 混 
合 固态 雷 射 雷达 VLP-16 PUCK, 2020 年 计划 量 产 价 为 500 美元 , 2025 年 计划 把 成 本 控制 
在 200 美元 以 内 。 外 奥迪 的 无 人 车 A7 Piloted Driving 就 采用 了 Ibeo 和 Valeo 合作 的 Scala 
混合 固态 雷 射 雷达 ， 在 外 观 上 看 不 到 旋转 部 件 ， 但 内 部 仍 靠 机 械 旋转 实现 雷 射 扫描 。 
Quanergy 、Velodyne、 麻 省 理工 学 院 等 都 在 推进 固态 激光 雷达 的 研发 ,其 核心 在 于 上 游 半 
导体 工艺 的 突破 ， 例 如 高 功率 、 高 波束 质量 的 辐射 源 、 高 灵敏 度 接 收 技术 、 产 品 良 率 等 ， 
如 果 这 些 关键 指标 获得 突破 ， 固 态 激光 雷达 的 实用 化 有 机 会 让 成 本 下 降 至 100 美元 。 


此 前 国内 雷达 制造 商 速腾 聚 创 宣布 完成 的 16 线 激光 雷达 采用 的 也 是 混合 固态 的 形 
xt, 固态 雷达 产品 由 于 采用 电子 方案 去 除了 机 械 旋转 部 件 , 因此 具有 低 成 本 ( 几 百 美元 级 
别 ) 和 和 体积 小 .可 集成 至 传统 车 辆 外 观 中 的 特点 ,行业 对 固态 雷达 的 出 现 仍 处 于 观望 态度 ， 
主要 因为 首先 对 成 本 是 否 能 有 如 此 大 幅 下 降 抱 有 疑问 ; 其 次 , 雷 射 特 性 在 大 雾 等 天 气 仍然 
并 不 适用 。 


Velodyne 和 Ibeo 的 产品 规格 参数 对 比如 表 9-3 所 示 。 





表 9-3 Velodyne 和 Ilbeo 的 产品 规格 参数 对 比 


家 | 产品 光 频 
厂家 价格 维度 | ”旋转 频率 水 平视 sss TEA 
场 ( 度 ) | 场 ( 度 ) | 离 ( 米 ) | ( 度 ) | ( 度 ) 
Velodyne 8 万 |64|3D |5~20Hz 360 |30 0.1-0.4 


HDL-32 |2 万 |32|3D |5~20Hz 360 100 0.1-0.4 | 1.33 
res E 
VLP-16 |7999|16|3D |5~20Hz 360 26.8 120 0.08 0.4 
ais ZO 
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2. 国内 外 制造 现 况 
目前 ， 激 光 和 雷达 已 被 应 用 在 某 些 无 人 驾驶 试验 车 中 。 
C1) 谷歌 和 百度 的 无 人 鸭 驶 试验 车 均 采 用 了 Velodyne 的 64 REI Eo 


(2) 福特 的 混 动 版 蒙迪欧 安装 了 Velodyne 的 32 线 备 射 雷达 ， 第 三 代 自 动 驾 驶 车 辆 
Fusion Hybrid 配置 了 2 台 Velodyne 的 混合 固态 雷 射 雷达 。 


(3) 日 产 LEAF 搭载 了 6 个 Ibeo 的 4 线 雷 射 雷达 ,测试 了 其 高 级 驾驶 辅助 系统 。 


(4 ) 奥 迪 的 无 人 车 A7 Piloted Driving 采用 了 Ibeo 和 Valeo 合作 的 Scala EA IAT IT 


(5) 德尔 福 无 人 车 配备 了 4 台 由 Quanergy 人 研发 的 固态 雷 射 雷达 。 


(6) 2015 年 ,奥迪 的 无 人 车 A7 Piloted Driving 就 采用 了 Ibeo 和 Valeo 合作 的 Scala 
混合 固态 备 射 雷达 ， 大 众 的 一 款 半自动 驾驶 汽车 也 搭载 了 Scala, Hi Tete RS 
杠 内 ， 用 于 取代 毫米 波 雷达 做 AEB 的 测 距 模块 。 


国外 激光 雷达 研发 厂商 比较 有 代表 性 的 有 Velodyne, Ibeo 和 Quanergy， 并 且 他 们 都 
背 靠 巨 头 。Velodyne 成 立 于 1983 年 ， 位 于 加 州 硅谷 。 当 年 ， 美 国 举办 的 世界 无 人 车 挑战 
赛 获得 第 一 名 和 第 二 名 的 高 校 卡耐基 梅 隆 大 学 和 斯 坦 福 大 学 使 用 的 就 是 Velodyne 的 激光 
雷达 。 目 前 ， 其 已 有 包括 Velodyne 16、32 和 64 线 激光 雷达 三 个 系列 。Ibeo 是 无 人 鸭 驶 
激光 雷达 供应 商 , 成 立 于 1998 年 ,2010 年 和 法 雷 奥 合 作 开 始 量 产 可 用 于 汽车 的 产品 Scala, 
其 目前 主要 供应 4 线 和 8 线 的 激光 雷达 。 位 于 加 州 硅谷 中 心 的 Quanergy 成 立 于 2012 年 ， 
虽然 相对 其 他 激光 雷达 厂家 较为 年 轻 ， 但 它 却 制造 出 了 全 球 第 一 款 固态 激光 雷达 。 

国内 在 激光 雷达 研发 这 块 的 企业 主要 有 北 醒 光 子 、 思 岗 科 技 、 镭 神 知 能 、 丸 腾 聚 创 和 
禾 赛 科技 。 其 中 北 醒 光子 目前 的 产品 有 三 大 系列 :单线 环境 十 达 DE-LiDAR 1.0、 多 线 长 
距 雷 达 DE-LiDAR 2.0 和 固态 雷达 DE3.0 系列 ( 多 线 长 距 雷 达 目 前 正在 研发 , 可 做 到 8 到 
32 线 ); 日 镭 神 智能 成 立 于 2015 年 初 ， 是 一 家 提供 中 远 距 离 脉 冲 测 距 激 光 雷 达 等 产品 及 
解决 方案 的 公司 ; O 速腾 聚 创 已 宣布 完成 其 混合 固态 的 16 线 激光 雷达 研发 。" 

在 无 人 驾驶 领域 ， 激 光 雷 达 是 目前 最 有 效 的 方案 ， 被 认为 是 最 精准 的 自主 感知 手段 ， 
其 有 效 感知 范围 超过 120 米 , 而 精度 可 以 达到 厘米 级 , 也 是 其 中 最 重要 的 目前 最 难以 跨越 
的 硬件 门槛 。 由 于 现在 价格 高 昂 , 无 法 部 车 在 量 产 车 上 , 多 线 激光 雷达 的 成 本 下 降 将 加 速 
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无 人 轰 驶 的 落地 , 如 果 在 价格 上 也 相当 , 前 景 无 疑 是 乐观 的 , 相信 无 人 驾驶 离 我 们 就 不 远 
了 。 


9.2.2 ”毫米 波 雷达 


毫米 波 雷达 通过 发 射 无 线 电信 号 ( 毫米 波 波段 的 电磁 波 ) 并 接收 反射 信号 来 测定 汽车 
车 身 周围 的 物理 环境 信息 ( 如 汽车 与 其 他 物体 之 间 的 相对 距离 、 相 对 速度 、 角 度 、 运 动 方 
向 等 )， 然 后 根据 所 探知 的 物体 信息 进行 目标 追踪 和 识别 分 类 ， 进 而 结合 车 身 动态 信息 进 
行 数据 融合 ， 完 成 合理 决策 ， 减 少 事故 发 生 概 率 。 


毫米 波 雷 达 的 工作 频段 为 30GHz ~ 300GHz, 毫米 波 的 波长 为 1 ~ I0mm, 介 于 厘米 波 
和 光波 之 间 , 因此 毫米 波 兼 有 微波 制导 和 光电 制导 的 优点 。 雷达 测量 的 是 反射 信号 的 频率 
Heb, 并 计算 其 速度 变化 。 雷 达 可 以 检测 30~100m 远 的 物体 ， 高 端的 雷达 能 够 检测 到 很 
远 的 物体 。 同 时 ， 毫 米 波 雷达 不 受 天 气 状 况 限制 ， 即 使 是 雨 雪 天 也 能 正常 运作 ， 穿 透 雾 、 
烟 、 灰 尘 的 能 力 强 。 具 有 全 天 候 、 全 天 时 的 工作 特性 ， 且 探测 距离 远 ， 探 测 精 度 高 ， 被 广 
沁 应 用 于 车 载 距 离 探 测 ， 如 自 适应 巡航 、 碰 撞 预 瞧 、 讶 区 探测 等 ， 如 图 9-5 所 示 。 


前 向 SRR 功 能 





图 9-5 ADAS 中 毫米 疲 雷达 应 用 范围 原理 示意 


相 比 激光 雷达 , 毫米 波 雷达 精度 低 、 可 视 范 围 的 角度 也 偏 小 , 一 般 需 要 多 个 雷达 组 合 
使 用 。 雷达 传输 的 是 电磁 波 信 号 ,因此 它 无 法 检测 上 过 漆 的 木头 或 是 塑料 C 隐形 战斗 机 就 
是 通过 表面 喷 潜 躲 过 雷达 信号 的 )， 行 人 的 反射 波 较 弱 几乎 对 雷达 免疫 。 同 时 ， 雷 达 对 人 金 
属 表 面 非常 敏感 ,如 果 是 一 个 弯曲 的 金属 表面 , 它 会 被 雷达 误 认为 是 一 个 大 型 表面 .因此 ， 
路 上 一 个 小 小 的 易拉罐 甚至 可 能 被 雷达 判断 为 巨大 的 路 障 。 此 外 , 雷达 在 大 桥 和 隧道 里 的 
效果 同样 不 佳 。 
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1. 毫米 波 雷达 分 类 

毫米 疲 雷 达 的 可 用 频段 有 24GHz、60GHz、77GHz 和 79GHz, 主流 可 用 频段 为 24 GHz 
和 77GHz， 分 别 应 用 于 中 短 距 和 中 长 距 测量 ， 如 图 9-6 所 示 。 相 比 于 24GHz，77GHz 4E 
米 波 雷达 物体 分 辨 准确 度 可 提高 2-4 倍 ， 测 速 和 测 距 精确 度 提 高 3~5 倍 ， 能 检测 行人 和 
自行 车 , 且 设备 体积 更 小 ， 更 便于 在 车 辆 上 安装 和 部 署 。 如 表 9-4 所 示 ， 长 距离 雷达 的 个 
测 范围 更 广 , 可 适 配 行驶 速度 更 快 的 车 辆 , 但 是 相应 地 探测 精度 下 降 , 因此 更 适用 于 ACC 
自 适应 巡航 这 类 的 应 用 。 典 型 的 长 距离 雷达 有 博世 的 一 款 产 品 ， 其 探测 前 向 距离 为 250 
OK; 典型 的 短 距离 雷达 有 大 陆 的 一 款 产 品 ， 其 探测 距离 为 前 向 60 米 后 向 20 米 。 





空间 分 辨 率 低 空间 分 辨 率 高 
ARWR RAAR 





图 9-6 中 距 雷 达 和 短 距 雷 达 空 间 分 辨 率 对 比 


表 9-4 ”中 长 距 雷 达 和 短 距 雷 达 参 数 对 比 中 





SRR/MRR 短 距离 雷达 
分 类 宽带 雷达 
覆盖 距离 (m ) 280 30/120 
fi HL im 
精度 厘米 级 
主要 应 用 范围 ACC 自 适 应 巡航 车 辆 环境 监测 


为 完全 实现 ADAS 的 各 项 功能 一 般 需 要 “1 长 +4 中 短 ”5 个 毫米 波 雷达 ， 目 前 全 新 
奥迪 A4 采 用 的 就 是 “1 长 +4 短 ”5 个 毫米 波 雷达 的 配置 。 以 自动 跟 车 型 ACC 功能 为 例 ， 
一 般 需要 3 个 毫米 波 雷 达 。 车 正中 间 一 个 77GHz 的 LRR， 探 测 距 离 在 150~250m， 角 度 
为 10 度 左右 ; 车 两 侧 各 一 个 24GHz 的 MRR， 角 度 都 为 30 度 ， 探 测 距 离 在 50~70m。 图 
9-7 所 示 为 奔驰 的 S 级 车 型 ， 采 用 的 是 7 个 毫米 波 雷 达 ( 1 长 +6 短 )。 
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图 9-7. 毫米 波 备 达 在 无 人 轰 驶 中 的 应 用 示意 图 


电磁 疲 频 率 越 高 , 距离 和 速度 的 检测 解析 度 越 高 , 因此 频段 发 展 趋势 是 逐渐 由 24GHz 
向 77GHz 过 渡 的 。1997 年 ， 欧 洲 电信 标准 学 会 确认 76~77GHz 作为 防 撞 雷达 专用 频道 。 
早 在 2005 ££, 原 信息 产业 部 发 布 《 微 功率 ( 短 距离 ) 无 线 电 设备 的 技术 要 求 》 将 77GHz 
划分 给 车 辆 测 距 雷达 。2012 年 ， 工 信 部 进一步 将 24GHz 划分 给 短 距 车 载 雷达 业务 。2015 
年 ， 日 内 瓦 世界 无 线 电 通信 大 会 将 77.5~78.0GHz 频段 划分 给 无 线 电 定位 业务 ， 以 支持 短 
距离 高 分 辨 率 车 载 雷达 的 发 展 , 从 而 使 76-81GHz 都 可 用 于 车 载 雷 达 , 为 全 球 车 载 毫米 波 
雷达 的 频率 统一 指明 了 方向 。 至 此 之 后 ， 最 终 车 载 毫 米 疲 雷达 将 会 统一 于 77GHz 频段 
( 76~81GHz )， 该 频段 带宽 更 大 、 功 率 水 平 更 高 、 探 测 距离 更 远 。 


2. 毫米 波 雷达 国内 外 制造 现 况 
全 球 汽车 毫米 波 雷 达 主 要 供应 商 为 传统 汽车 电子 优势 企业 ， 如 博世 、 大 陆 、Hella、 
富士 通天 、 电 装 、TRW 、 德 尔 福 、Autoliv、 法 雷 奥 等 传统 优势 企业 ， 如 图 9-8 Ata. 
BOSCH 9 qQGnünentai* (B rffrsuTEN DENSO 
图 9-8 毫米 波 雷 达 主要 供应 商 
各 个 主要 厂商 的 主要 毫米 波 雷达 产品 如 表 9-5 所 示 。 
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其 中 ， 博 世 的 核心 产品 是 长 距离 毫米 波 雷达 ， 主 要 用 于 ACC 系统 。 最 新 产品 LRR4 
可 以 探测 250 米 外 的 车 辆 , 是 目前 探测 距离 最 远 的 毫米 波 雷达 , 市 场 占有 率 最 高 , 但 客户 
集中 在 奥迪 和 大 众 。 大 陆 客户 分 布 广 ， 产 品 线 齐全 ， 主 力 产品 为 24GHz 毫米 波 雷 达 ， 并 
EYE Stop & Go ACC 领域 占有 率 极 高 。Hella 在 24GHz-ISM 领域 客户 范围 最 广 ，24GHz 
雷达 传感器 下 线 1000 万 片 ， 出 货 量 达 650 万 片 ， 市 场 占 有 率 全 球 第 一 。 第 四 代 24GHz 
雷达 传感器 将 在 2017 年 中 投入 全 球 化 生产 。 富 士 通天 和 电 装 主要 占据 日 本 市 场 ， 其 中 富 
士 通天 略 胜 一 筹 。 富 士 通天 、 松 下 和 电 装 是 未 来 79GHz 雷达 市 场 领域 的 强 者 。 从 工艺 上 
看 ， 毫 米 波 雷 达 正 从 点 目标 探测 往 成 像 雷 达 方 面 发 展 ， 例 如 SAR ( 相 控 阵 ) 型 雷达 ， 正 
在 从 军用 领域 向 汽车 领域 推进 。 


目前 , 中 国 市 场 中 高 端 汽车 装配 的 毫米 波 雷 达 传 感 器 全 部 依赖 进口 , 国内 自主 车 载 毫 
米 波 雷达 产品 总 体 仍 处 于 研制 阶段 。 因 研发 成 本 及 难度 较 低 ， 国 际 市 场 上 24GHz 毫米 波 
雷达 供应 链 也 已 相对 稳定 ， 目 前 国内 广 商 的 研发 方向 主要 集中 于 24GHz 雷达 产品 ， 可 从 
JB SOAK 24GHz 射频 芯片 。 目 前 ， 较 为 成 熟 的 产品 仅 有 部 南 纳 雷 、 厦 门 意 

、 欧 湖 森 县 泰 克 的 24GHz 中 短 距 雷达 ， 而 77GHz 产品 设计 难度 较 大 ,成 本 较 高 ， 并且 
xu: ST、 飞 思 卡 尔 等 芯片 厂商 并 没有 对 中 国 开放 供应 77GHz 射频 芯片 ， 因 此 国内 
77GHz 毫米 波 雷达 的 开发 受到 很 大 限制 ， 如 图 9-9 所 示 。 
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图 9-9 国内 森 因 泰克 和 纳 雷 科技 的 主要 雷达 产品 


在 雷达 数据 处 理 芯 片 领域 ， 主 要 采用 的 是 恩 智 浦 (NXP ) MR2001 多 通道 77 GHz t 
达 收 发 器 芯片 组 , 包括 MR2011RX、MR2001TX、MR2001VC, 以 及 意 行 半导体 24GHz $} 
频 前 端的 MMIC 套 片 产品 , 包括 SG24T1. SG24RI 和 SG24TR1。2016 年 NXP 推出 了 目 
前 全 世界 最 小 (7.5mm x 7.5mm ) 的 单 晶片 77GHz 高 解析 度 RFCMOS IC 雷达 晶片 。 该 
款 车 用 雷达 晶片 的 超 小 尺寸 使 其 可 以 近乎 隐形 地 安装 在 汽车 的 任意 位 置 , 旦 其 功 耗 比 传统 
雷达 晶片 产品 低 40%， 为 汽车 传感器 的 设计 安装 提供 了 极 大 便利 。 目 前 ， 上 毫米 波 雷 达 忌 
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片 也 正在 从 硅 钞 工艺 向 廉价 的 CMOS 工艺 发 展 ， 预 计 在 2020 年 左右 ，COMS 工艺 可 以 
达到 现 有 硅 鱼 工 艺 的 水 平 ,并 且 发 射 .接收 及 信号 处 理 器 三 合 一 的 产品 也 在 开发 中 , 届时， 
毫米 波 雷 达 芯 片 将 可 能 比 目 前 的 价格 下 降 数 倍 。 


9.2.3 ”车 载 摄像头 


车 载 摄 像 头 的 大 致 原理 是 : 首先 , 采集 图 像 进行 处 理 , 将 图 片 转换 为 二 维 数据 ; 然后 ， 
进行 模式 识别 ， 通 过 图 像 匹配 进行 识别 ， 如 识别 车 辆 行驶 环境 中 的 车 辆 、 行 人 、 车 道 线 、 
交通 标志 等 ; 接 下 来 , 依据 物体 的 运动 模式 或 使 用 双 目 定位 , 以 估算 目标 物体 与 本 车 的 相 
对 距离 和 相对 速度 。 


相 比 于 其 他 传感器 , 摄像 头 是 最 接近 人 了 眼 获取 周围 环境 信息 的 工作 模式 , 可 以 通过 较 
小 的 数据 量 获得 最 全 面 的 信息 。 同 时 ， 因 为 现在 的 摄像 头 技术 比较 成 熟 , 成 本 可 较 低 。 但 
E, 摄像 头 识别 也 存在 一 定局 限 性 ,基于 视觉 的 解决 方案 受 光线 、 天 气 影响 大 。 而 且 , 物 
体 识 别 基于 机 器 学 习 资 料 库 ,需要 的 训练 样本 大 ,训练 周期 长 ,也 难以 识别 非 标 准 障碍 物 。 
此 外 ， 由 于 广角 摄像 头 的 边缘 畸变 ， 得 到 的 距离 准确 度 较 低 。 


从 应 用 方案 出 发 , 目前 摄像 头 可 划分 为 单 目 、 后 视 、 立 体 ( 双 目 ) 和 环视 摄像 头 四 种 ， 
如 表 9-6 所 示 。 


表 9-6 各 摄像 头 传感器 的 应 用 场景 
应 用 场景 
单 目 摄像 头 ACC, LDW, LKA, FCW, AEB, TSR, AP, PDS, DMS 
后 视 摄 像 头 AP 
立体 (RWE) 摄像 头 | ACC, LDW, LKA, FCW, AEB, TSR, AP, PDS, DMS 
环视 摄像 头 AP、SVC 





(1 ) 单 目 摄 像 头 一 般 安装 在 前 挡 风 玻璃 上 部 ,用 于 探测 车 辆 前 方 环境 、 识 别 道路 、 车 
辆 、 行 人 等 。 先 通过 图 像 匹 配 进行 目标 识别 ( chase 行人 、 物 体 等 )， 再 通过 目标 在 
图 像 中 的 大 小 估算 目标 距离 。 这 要 求 对 目标 进行 准确 识别 , 然后 建立 并 不 断 维护 一 个 庞大 
的 样本 特征 数据 库 , 保证 这 个 数据 库 包 含 待 识别 e 如 果 缺 乏 待 识别 目 
标的 特征 数据 ， 就 无 法 估算 目标 的 距离 ， 导 臻 ADAS 系统 的 漏 报 。 因 此 ， 单 目 视觉 方案 
的 技术 难点 在 于 模型 机 器 学 习 的 智能 程度 或 者 模式 识别 的 精度 。 


(2) 后 视 摄像 头 , 一般 安装 在 车 尾 , 用 于 探测 车 辆 后 方 环境 ,技术 难点 在 于 如 何 适 应 
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不 同 的 恶劣 环境 。 


(3) 立体 ( 双 目 ) 摄像 头 是 通过 对 两 幅 图 像 视差 的 计算 ,直接 对 前 方 景物 ( 图 像 所 拍 
摄 到 的 范围 ) 进行 距离 测量 ， 而 无 须 判断 前 方 出 现 的 是 什么 类 型 的 障碍 物 。 依 靠 两 个 平行 
布置 的 摄像 头 产生 的 “视差 "， 找 到 同一 个 物体 所 有 的 点 ， 依 赖 精确 的 三 角 测 距 ， 就 能 
算出 摄像 头 与 前 方 障碍 物 的 距离 ,实现 更 高 的 识别 精度 和 更 远 的 探测 范围 。 使 用 这 种 方案 ， 
需要 两 个 摄像 头 有 较 高 的 同步 率 和 采样 率 , 因此 技术 难点 在 于 双 目 标定 及 双 目 定位 。 相 比 
单 目 , 双 目 的 解决 方案 没有 识别 率 的 限制 , 无 须 先 识别 ,可 直接 进行 测量 ; 直接 利用 视差 
计算 距离 精度 更 高 ; 无 须 维护 样本 数据 库 。 因 为 检测 原理 上 的 差异 , 双 目 视觉 方案 在 距离 
测算 上 相 比 单 目 及 毫米 波 雷达 ,激光 雷达 ,其 硬件 成 本 和 计算 量 级 的 加 倍 也 是 另 一 个 难关 。 


(4) 环视 摄像 头 ， 一 般 至 少 包 括 四 个 摄像 头 ， 分 别 安装 在 车 辆 前 、 后 、 左 、 右 侧 ， 实 
现 360。 环境 感知 ， 难 点 在 于 畸变 还 原 与 对 接 ， 如 图 9-10 所 示 。 





图 9-10 无 人 车 中 各 摄像 头 传感器 的 方位 设置 
根据 不 同 ADAS 功能 的 需要 ， 摄 像 头 的 安装 位 置 也 有 不 同 。 主 要 分 为 前 视 、 后 视 、 
侧 视 以 及 内 置 ， 如 表 9-7 所 示 。 实 现 CAE) 自动 驾驶 时 全 套 ADAS 功能 将 安装 6 个 以 上 
摄像 头 。 


表 9-7 ” 按 功 能 需求 的 摄像 头 传感器 划分 











FCW, LDW, TSR, ACC, PCW 
全 景 泊 车 、LDW 
后 视 泊 车 辅助 
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续 表 
安装 部 位 应 用 场景 
侧 视 盲 眼 检测 、 替 代 后 视 镜 
内 置 闭 眼 提醒 





如 图 9-11 Aras, 前 视 摄 像 头 一 般 采 用 55 度 左 右 的 镜头 得 到 较 远 的 有 效 距离 , 有 单 目 
和 双 目 两 种 解决 方案 。 双 目 需要 装 在 两 个 位 置 ， 成 本 较 单 目 贵 50%。 环 视 使 用 的 是 广角 
摄像 头 , 通常 在 车 四 周 装备 四 个 进行 图 像 拼接 实现 全 景 图 , 通过 辅助 算法 可 实现 道路 线 感 
知 。 后 视 采 用 广角 或 者 鱼 眼 镜头 ， 主 要 为 倒车 后 视 使 用 。 侧 视 一 般 使 用 两 个 广角 摄像 头 ， 
完成 盲点 检测 等 工作 , 也 可 代替 后 视 镜 , 这 一 部 分 功能 也 可 由 超声 波 雷达 替代 。 内 置 使 用 
的 也 是 广角 镜头 ， 安 装 在 车 内 后 视 镜 处 ， 完 成 在 行驶 过 程 中 对 多 驶 员 的 闭 眼 提醒 。 其 中 ， 
前 视 摄 像 头 可 以 实现 车 道 偏离 预警 、 车 辆 识别 应 用 、 车 辆 识别 、 行 人 识别 、 道 路 标识 识别 
等 ADAS 主动 安全 的 核心 功能 , 未 来 将 成 为 自动 紧急 刹车 (AEB )、 自 适应 巡航 C ACC) 等 
主动 控制 功能 的 信号 入 口 。 这 种 摄像 头 安全 等 级 较 高 , 应 用 范围 较 广 , 是 目前 开发 的 热点 。 
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图 9-11 各 类 无 人 驾驶 中 广泛 应 用 的 摄像 头 传感器 站 
车 载 摄像 头 在 工艺 上 具有 的 首要 特性 是 快速 , 特别 是 在 高 速 行驶 场合 , 系统 必须 能 记 
录 关 键 加 驶 状况 、 评 估 这 种 状况 并 实时 启动 相应 措施 。 在 140 kmh 的 速度 下 ， 汽 车 每 秒 
要 移动 40 公 尺 。 为 吉 免 两 次 图 像 信 息 获 取 间 隔 期 间 自 动 驾 驶 的 距离 过 长 ， 要 求 相机 具有 
最 慢 不 低 于 30 帧 / 秒 的 影像 捕捉 速率 , 在 汽车 制造 商 的 规格 中 , 甚至 提出 了 eo 帧 / 秒 和 120 
帧 / 秒 的 要 求 。 在 功能 上 ， 车 载 摄像 头 需要 在 复杂 的 运动 路 况 环境 下 保证 采集 到 稳定 的 数 
据 。 有 具体 表现 如 下 。 


C1) 高 动态 : 在 较 暗 环境 及 明暗 差异 较 大 时 仍 能 实现 识别 , 要 求 摄 像 尖 具有 高 动态 的 


(2) 中 低 像素 : 为 降低 计算 处 理 的 负担 ， 摄 像 头 的 像素 并 不 需要 非常 高 。 目 前 30 万 
~120 万 像素 已 经 能 满足 要 求 。 
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(3) 角度 要 求 : 对 于 环视 和 后 视 , 一 般 采 用 135 度 以 上 的 广角 镜头 ， 前 置 摄像 头 对 视 
距 要 求 更 大 ,一 般 采 用 55 度 的 范围 。 


同时 , 相 比 工业 级 与 生活 级 摄像 头 , 车 载 类 型 在 安全 级 别 上 要 求 更 高 , 尤其 是 对 前 置 
ADAS 的 镜头 安全 等 级 要 求 更 高 。 主 要 体现 如 下 。 


(1) 温度 要 求 : 车 载 摄像 头 温度 范围 在 -40 度 ~80 EE. 


(2 ) 防磁 抗 振 : 汽车 启动 时 会 产生 极 高 的 电磁 脉冲 ,车 载 摄像 头 必须 具备 极 高 的 防磁 
抗 振 的 可 靠 性 。 


(3) 较 长 的 寿命 ， 车 载 摄 像 头 的 寿命 至 少 要 在 8-10 年 以 上 才能 满足 要 求 。 


根据 IHS Automotive 的 预测 ， 车 载 摄 像 头 系统 出 货 量 有 望 在 2021 年 达到 7400 万 套 / 
年 。 国 内 行业 龙头 优势 地 位 明显 ， 如 用 宇 光学 车 载 后 视 镜 头 出 货 量 目前 居 全 球 第 1 位 , 全 
球 市 场 占 有 率 达 30% 左 右 ， 产 品 包括 前 视 镜 头 、 后 视 镜 头 、 环 视 镜 头 、 侧 视 镜 头 、 内 视 
镜头 等 。 客 户 遍及 欧美 、 日 韩 和 国内 , 广泛 应 用 于 BMW, Benz, Audi, Toyota, Honda, 
Chrysler, Ford, GM, VW, Volvo 等 众多 车 型 上 ， 有 具体 的 型 号 包括 4005, 4408, 4009, 
4017、4017、4034、4043 、4044 等 。 以 4005 与 4043 为 例 ， 其 规格 参数 如 表 9-8 所 示 。 


表 9-8. FFI 4005. 4043 视觉 传感器 规格 参数 


ELF (mm) HFOV (°) Max Image Circle 


9.2.4 GPS/IMU 










Resolution 


GPS 在 复杂 的 动态 环境 中 ， 尤 其 在 大 城市 ， 其 多 路 径 反 射 的 问题 会 很 显著 ， 导 致 获 
得 的 GPS 定位 信息 很 容易 产生 几米 的 误差 。 另 外 ， 由 于 GPS 的 更 新 频率 低 ( 10Hz )， 在 
车 辆 快速 行驶 时 很 难 给 出 精准 的 实时 定位 。 单 纯 依赖 GPS 的 导航 很 有 可 能 导致 交通 事故 。 
因此 ，GPS 通常 辅助 以 惯性 传感器 (MU ) 用 来 增强 定位 的 精度 。IMU 是 检测 加 速度 与 
旋转 运动 的 高 频 ( 1KHz ) 传感器 , 但 IMU 自身 也 有 偏差 积累 与 噪音 等 问题 影响 结果 。 通 
过 使 用 基于 卡尔 曼 滤波 的 传感器 融合 技术 ， 我 们 可 以 融合 GPS 与 IMU 数据 ， 结 合 GPS 
的 定位 精度 高 和 误差 无 积累 的 特点 ， 与 IMU 的 自主 性 和 实时 性 的 优点 。 一 方面 可 以 实现 
导航 设备 之 间 优 势 互补 , 增强 系统 适应 动态 的 能 力 , 并 使 整个 系统 获得 优 于 局 部 系统 的 精 
度 ; 另 一 方面 提高 了 空间 和 时 间 的 履 盖 范围 ， 从 而 实现 真正 意义 上 的 连续 导航 。 因 此 ， 


135 4 
*jscn 000000 


g: 第 一 本 无 人 驾驶 技术 书 


GPS/IMU 组 合 的 优势 有 以 下 几 点 。 
1. 系统 精度 的 提高 


利用 GPS 的 长 期 稳定 性 弥补 IMU 误差 随时 间 累 积 的 缺点 。GPSVIMU 组 合 后 的 导航 
误差 实际 上 要 比 单独 的 GPS 或 单独 的 惯 导 系统 可 能 达到 的 误差 都 小 。 


2. 系统 抗 干 扰 能 力 的 增强 


利用 IMU 的 短期 高 精度 弥补 GPS 系统 易 受 干扰 、 信号 易 失 锁 等 缺点 , 同时 借助 IMU 
的 姿态 信息 、 角 速度 信息 可 进一步 提高 GPS 系统 快速 捕获 或 重新 锁定 卫星 信号 的 能 力 。 


3. 导航 信息 的 补 全 


GPS/IMU 组 合 系统 与 单 GPS FALL ,除了 可 以 提供 载体 运动 的 三 维 位 置 和 速度 信息 外 ， 
还 可 提供 加 速度 、 姿 态 和 航向 信息 ; GPS/IMU 组 合 系统 可 提供 100Hz 甚至 高 于 100Hz 的 


IMU 惯性 器 件 的 标定 技术 由 于 加 速度 计 、 陀 螺 仪 等 惯性 器 件 本 身 存 在 缺陷 ， 会 产生 
一 些 器 件 误 差 ， 如 标 度 因数 误差 等 。 另 外 ,在 对 IMU 进行 集成 时 ， 各 个 器 件 之 间 的 非 正 
交 安 装 会 引起 交叉 耦合 误差 。 以 上 这 些 误差 可 以 通过 器 件 标定 加 以 补偿 , 以 达到 提高 其 精 
度 的 目的 。 

GPS/IMU 的 主要 制造 商 有 NovAtel, Leica, CSI Wireless 及 Thales Navigation. 其 中 ， 
NovAtel 提出 了 SPAN SR, SPAN 集合 了 GPS 定位 的 绝对 精度 与 IMU 陀螺 和 加 速 计 测 
量 的 稳定 性 , 以 提供 一 个 3D 的 位 置 、 速 度 和 姿态 解 算 结果 。 即 使 在 GPS 信号 被 遮挡 时 ， 
也 能 提供 稳定 连续 的 解 算 结 果 。 如 图 9-12 Aras, SEF SPAN BOR, NovAte 有 两 款 主 要 的 
GPS/IMU 产品 : SPAN-CPT 一 体式 组 合 导航 系统 与 SPAN-FSAS 分 式 组 合 导航 系统 。 
SPAN-CPT 采用 NovAtel 自主 的 专业 级 的 高 精度 GPS 板 卡 与 德国 的 iMAR 公司 制造 的 光 
纤 陀 螺 IMU， 其 解 算 精度 在 不 同 的 模式 下 可 适用 于 不 同 的 定位 需求 ， 支 持 包 括 SBAS 、L 
波段 (Omnistar 和 CDGPS ) 和 RTK 差分 等 多 种 方式 、 系 统 最 高 航向 精度 0.05" 、 俯 仰 横 
滚 精度 0.015°, SPAN-FSAS 也 采用 德国 iMAR 公司 高 精度 、 闭 环 技术 的 IMU， 其 陀螺 偏 
差 小 于 0.75 度 / 小 时 和 加 速 计 偏 差 小 于 lmg ,配合 目前 NovAtel 的 FlexPak6rM 或 ProPak6™ 
集成 了 组 合 导航 解 算 . 从 IMU-FSAS 的 惯性 测量 数据 发 送 到 GNSS 接收 机 进行 解 算 ,GNSS 
+ INS 的 位 置 、 速 度 和 姿态 输出 速率 高 达 200Hz。 
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NovAtel SPAN-CPT 一 休 式 组 合 导航 系统 NovAtel SPAN-FSAS 分 式 组 合 导航 系统 


图 9-12. NovAtel 的 两 款 GPS/IMU 产品 图 
9.25 V2X 通信 传 感 


V2X 通信 系统 可 以 看 作 是 一 个 超级 传感器 ， 它 提供 了 比 其 他 车 载 传感器 都 高 得 多 的 
感知 能 力 和 可 靠 性 ， 在 自 车 感知 技术 尚 不 能 达到 高 可 靠 性 之 前 ， 用 V2X 可 以 决定 性 地 提 
升 其 可 靠 性 。V2X 是 无 人 驾驶 必要 技术 和 智慧 交通 的 重要 一 环 。V2X 是 V2V ( Vehicle to 
Vehicle, 车 车 通信 )、V2I ( Vehicle to Instruction ， 车 路 通信 )、V2P ( Vehicle to Pedestrian, 
车 人 通信 ) 等 的 统称 ,通过 V2X 可 以 获得 实时 路 况 、 道 路 信息 、 行 人 信息 等 一 系列 交通 
信息 ， 从 而 带 来 远 距离 环境 信号 。 简 单 来 说 ，V2V 技术 是 利用 无 线 通信 技术 实现 车 与 车 
之 间 、 车 与 道路 之 间 、 车 与 行人 之 间 的 信息 互通 ,也 就 是 说 ,通过 人、 车 、 路 之 间 的 相互 
交流 ， 使 驾驶 员 能 更 好 地 掌握 车 辆 状态 和 周围 情况 ， 轰 驶 员 收 到 警告 后 就 能 降低 事故 的 
风险 或 车 辆 本 身 就 会 采取 自治 措施 , 像 是 制 动 减速 。V2V 通信 技术 首次 由 福特 公司 在 2014 
年 6 月 3 日 发 布 ,在 现场 展示 的 是 福特 的 两 辆 经 过 特殊 改造 过 的 车 ,通过 一 台 连 接 了 Wi-Fi 
的 无 线 广播 系统 ， 演 示 了 这 项 V2V 通信 技术 是 如 何 防 止 碰撞 事故 发 生 的 ， 如 图 9-13 所 示 。 























9-13. V2X 通信 辅助 下 的 行车 状况 示意 图 
详细 来 说 ，V2X 是 一 种 网 状 网 络 , 网 络 中 的 节点 ( 汽车、 智能 交通 灯 等 ) 可 以 发 射 、 
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捕获 并 转发 信号 。 利 用 V2X 车 联网 ， 车 辆 可 以 获取 周围 环境 的 未 知 参 数 及 附近 车 辆 的 运 
行 状态 ， 这 些 状 态 包括 速 度 、 位 置 、 鸭 驶 方向 、 和 刹车 等 基本 的 安全 信息 。 然 后 车 载 端 主动 
安全 算法 将 处 理 所 获 取 的 信息 , 并 按照 优先 级 对 信息 进行 分 类 , 对 可 能 发 生 的 危险 情景 进 
行 预 待 ， 紧 急 情况 下 可 以 利用 车 辆 执行 端 对 车 辆 进行 控制 从 而 规避 风险 。V2X 技术 开启 
了 对 四 周 威胁 的 360 度 智能 感知 , 这 一 技术 能 够 在 各 种 危险 情况 下 提醒 轰 驶 者 , 从 而 大 大 
减少 汽车 碰撞 事故 的 发 生 并 缓解 交通 拥堵 。 美国 交通 部 根据 最 新 的 数据 进行 分 析 , 如 果 能 
够 大 面积 地 普及 V2X 技术 ， 就 能 在 75% 的 交通 事故 发 生 之 前 提醒 驾驶 员 。 


1. V2X 通信 优势 

相 比 传统 雷达 ，V2X 通信 传 感 系统 有 以 下 几 点 优势 。 

1) 覆盖 面 更 广 

300~500 米 的 通信 范围 相 比 十 几米 的 雷达 探测 范围 要 远 得 多 , 不 仅 是 前 方 障碍 物 ， 身 
劳 和 身后 的 建筑 物 、 车 辆 都 会 互相 连接 , 大 大 拓展 了 驾驶 员 的 视野 范围 ,驾驶 员 能 获得 的 
信息 也 就 更 多 也 更 立体 。 因 此 , 在 前 车 刹车 初期 就 能 有 效 甄 别 ， 并 进行 提示 ， 如 果 距 离 过 
近 , 系 统 会 再 次 提示 ,对 预 判 和 规避 危险 也 有 足够 的 反应 时 间 ,避免 出 现 跟 车 追尾 的 情况 。 


2) 有 效 避 免 言 区 

由 于 所 有 物体 都 接 入 互联 网 ,每 个 物体 都 会 有 单独 的 信号 显示 ,因此 即便 是 视野 受阻 ， 
通过 实时 发 送 的 信号 可 以 显示 视野 范围 内 看 不 到 的 物体 状态 ,也 就 降低 了 盲区 出 现 的 概率 ， 
也 就 充分 避免 了 因 言 区 而 导致 的 潜在 伤害 。 

3) 对 于 隐私 信息 的 安全 保护 性 更 好 

由 于 这 套 系统 将 采用 5.9Hz 频段 进行 专项 通信 , 相 比 传统 通信 技术 更 能 确保 安全 性 和 
私密 性 ， 如 果 通 信 协 议 及 频道 在 各 个 国家 都 能 够 规范 化 ， 这 套 系统 将 变 得 像 SOS 救援 频 
道 一 样 成 为 社会 公用 资源 。 

2. V2X 通信 的 国内 外 发 展 进 展 

1) 国外 V2X 进展 

目前 ， 这 套 V2V 协议 由 通用 、 福 特 、 克 莱 斯 勒 等 厂商 联合 研发 ， 除 了 美国 汽车 三 巨 
3k, EAR. 日 产 、 现代 、 起 亚 、 大 众 、 奔 驰 、 马 自 达 、 斯 巴 鲁 、 菲 亚 特 等 车 企 也 在 协议 名 
单 内 。2016 年 12 月 14 日 ， 美 国 交通 部 发 布 了 V2V 的 新 法 规 ， 进 入 了 90 天 公示 期 法 
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规 强制 要 求 新 生产 的 轻型 汽车 安装 V2V 通信 装置 ， 这 是 一 个 里 程 碑 式 的 进步 。V2V 车 企 


联盟 如 图 9-14 所 示 。 
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图 9-14 V2V 车 企 联 盟 


美国 交通 部 的 新 规 中 要 求 V2V 装置 的 通信 距离 达到 300K, FEA A 360 RETE, Gm 
超 摄像 头 的 探测 能 力 , 其 感知 信息 属于 结构 化 信息 , 不 存在 误 报 的 可 能 。 根据 美国 家 公路 
交通 安全 管理 局 (NHTSA ) 的 研究 ,利用 V2X 技术 ,可 以 减少 80% 的 非 伤亡 事故 , 但 这 
一 切 是 以 100% 的 覆盖 率 为 前 提 的 。 在 此 之 前 ， 如 凯迪 拉克 等 车 企 也 曾经 做 过 尝试 但 都 因 
缺乏 足够 的 覆盖 率 难 以 发 挥 作用 ， 依 靠 强制 性 的 法 规 驱 动 ，V2X 普及 的 最 大 难题 将 得 以 
有 效 解决 。 


高 通 发 布 新 闻 表 示 ， 将 与 奥迪 、 爱 立信 等 公司 进行 蜂窝 -V2X( Celluar-V2X ) 的 测试 
合作 ， 该 测试 符合 由 德国 政府 主导 的 项 目 组 织 一 一 自动 互联 驾驶 数字 测试 场 的 测试 规范 。 
在 此 之 前 ， 高 通 推出 了 基于 其 最 新 绕 龙 X16 LTE modem 的 全 新 联网 汽车 参考 平台 ， 支 持 
作为 可 选 特性 的 专用 短程 通信 (DSRC) 和 蜂窝 -V2X。 





2) HE] V2X 的 发 展 进展 


2016 年 下 半年 ,发改委 连同 交通 部 联合 发 布 了 《推进 “互联 网 +” 便 捷 交 通 促 进 知 能 
交通 发 展 的 实施 方案 》rM， 明 确 提 出 “结合 技术 攻关 和 试验 应 用 情况 ， 推 进 制定 人 车 路 
协同 国家 通信 标准 和 设施 设备 接口 规范 ,并 开展 专用 无 线 频段 分 配 工作 ”的 标准 制定 工作 。 
从 目前 的 情况 来 看 ，LTE-V 极 有 可 能 被 确定 为 中 国标 准 。5G 的 推进 对 V2X 是 非常 大 的 
利好 ， 因 为 5G 标准 本 身 就 包含 了 V2X， 可 以 说 5G 的 发 展 和 无 人 驾驶 的 发 展 是 自 洽 的 。 


为 了 满足 在 商业 应 用 上 的 高 可 靠 性 ， 越 来 越 多 的 车 企 意识 到 在 增强 车 辆 能 力 的 同时 ， 
需要 将 道路 从 对 人 友好 改造 为 对 车 友好 ， 从 2015 开始 ， 中 国 所 有 的 无 人 驾驶 示范 园区 都 
在 规划 部 闭路 侧 系统 ( V2I )。 随 着 5G 的 时 间 表 日 渐 清晰 ,更 大 范围 的 部 署 也 让 人 非常 其 
fk. 5G 的 核心 推动 力 来 自 物 联网 ， 而 汽车 可 能 是 其 中 最 大 的 单一 应 用 ， 一 辆 无 人 车 每 天 
可 以 产生 超过 ITB 的 数据 。 目 前 ， 多 个 地 图 供应 商 正在 积极 准备 用 于 无 人 轰 驶 的 实时 高 
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精 地 图 ,以 克服 静态 高 精 地 图 无 法 适应 道路 变化 的 难题 , 但 之 前 受制 于 无 线 带宽 限制 , 很 
难 达 到 实用 ，5G 可 提供 高 达 10Gbit/s+ 的 峰值 速率 , 以 及 lms 的 低 延 时 性 能 ,可 以 满足 这 
样 的 需求 。 


9.2.6 ”传感器 小 结 
各 种 传感器 的 比较 如 表 9-9 所 示 。 


表 9-9 各 种 传感器 的 比较 







扫描 周围 环境 得 到 精 | ”成 本 高 , AX. PS | ”周边 环境 3D 建 模 
8000 美元 以 上 | 确 环境 信息 天 气 效 果 差 , 无 法 图 像 


识别 
300~500 美元 










激光 雷达 






不 受 天 气 影 响 ， 测 量 | 无 法 识别 道路 指示 
精度 高 ， 距 离 范 围 广 ”| 牌 ， 无 法 识别 行人 
成 本 比较 低 ， 通 过 算 | 极端 恶劣 环境 下 会 
法 可 以 实现 各 种 功能 ”| 失效 , EDA WUE, 距离 
较 近 ， 算 法 要 求 高 
HERBAR, 技术 协议 


无 法 应 用 视觉 识别 
要 求 较 高 功能 

能 实现 大 多 数 
ADAS 功能 , 测 距 功能 
难以 实现 

利用 通信 协议 , 感知 
实时 路 况 , 道路 信息 和 
行人 信息 















毫米 波 雷达 
















不 受 距 离 现 实 ，V2X 
成 本 较 低 ， 深 度 融合 智 | 仍 在 讨论 中 , 普及 难度 
能 系统 大 


o] 夜 视 效果 极 佳 成 本 较 高 , 技术 仍 由 
600~2000 美元 
Ep AER 
15-20 8x 成 本 低 探测 距离 较 近 , 应 用 | ” 侧 方 超车 提醒 、 倒 车 
一 局 限 大 提醒 


93 ”计算 平台 


当 硬件 传感器 接收 到 环境 信息 后 ， 数 据 会 被 导入 计算 平台 ， 由 不 同 的 芯片 进行 运算 。 
计算 平台 的 设计 直接 影响 到 无 人 罗 驶 系统 的 实时 性 及 和 鲁 棒 性 。 本 章 将 深入 了 解 无 人 驾驶 计 
算 平 台 。 


9.3.1 计算 平台 实现 
为 了 了 解 无 人 驾驶 计算 平台 的 要 点 ,我 们 来 看 看 一 个 行业 领先 的 某 四 级 无 人 驾驶 公司 









V2X 150~200 美元 


红外 传感器 





超声 波 传感器 
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现 有 的 计算 平台 硬件 实现 。 为 了 了 解 蕊 片 制造 商 将 如 何 解决 这 些 问题 , 我 们 来 看 看 现 有 的 
不 同 芯 片 制造 商 所 提供 的 无 人 驾驶 计算 解决 方案 。 


这 个 四 级 无 人 轰 驶 公司 的 计算 平台 由 两 个 计算 盒 组 成 。 每 个 计算 盒 配 备 了 一 颗 英特尔 
至 强 ES 处 理 器 (12 核 ) 和 4 到 8 果 NVIDIA K80 GPU 加 速 器 ， 彼 此 使 用 PCI-E 总 线 连 
接 。CPU 运算 峰值 速度 可 达 400 帧 / 秒 ， 功 率 需 求 400W。 每 个 GPU 运算 峰值 速度 可 达 8 
TOP/S， 功 率 需 求 300W。 因 此 ， 整 个 系统 能 够 提供 64.5 TOP /S 的 峰值 运算 能 力 ， 其 功率 
需求 为 3000 W。 计算 盒 与 车 辆 上 安装 的 12 个 高 精度 摄像 头 相连 接 , 以 完成 实时 的 物体 检 
测 和 目标 跟踪 任务 。 车辆 顶部 还 安装 有 一 个 激光 雷达 装置 以 完成 车 辆 定位 及 避 障 功能 。 为 
了 保证 可 靠 性 , 两 个 计算 盒 执 行 完全 相同 的 任务 。 一 旦 第 一 个 计算 盒 失 效 , 第 二 个 计算 盒 
可 以 立即 接管 。 在 最 坏 的 情况 下 ， 两 个 计算 盒 都 在 计算 峰值 运行 ， 这 意味 着 将 产生 超过 
5000W 的 功 耗 并 急 聚 大 量 的 热量 , 散热 问题 不 容 忽 视 。 此 外 , 每 个 计算 盒 的 成 本 预计 为 2 
万 ~3 万 美元 ， 这 是 普通 消费 者 根本 无 法 承受 的 整体 解决 方案 。 

9.3.2 ” 现 有 的 计算 解决 方案 

本 节 ， 我 们 将 分 别 介绍 现 有 的 针对 无 人 轰 驶 的 计算 解决 方案 。 

1. 基于 GPU 的 计算 解决 方案 

GPU 在 浮 点 运算 ,并行 计算 等 部 分 的 计算 方面 能 够 提供 数 十 倍 至 上 百倍 的 CPU 性 能 。 
利用 GPU 运行 机 器 学 习 模型 , 在 云端 进行 分 类 和 检测 , 其 相对 于 CPU 耗费 的 时 间 大 幅 缩 
短 , 占用 的 数据 中 心 的 基础 设施 更 少 , 能 够 支持 比 单纯 使 用 CPU 时 10~100 倍 的 应 用 吞吐 
量 。 凭 借 强 大 的 计算 能 力 ， 在 机 器 学 习 快 速 发 展 的 推动 下 ，GPU 目前 在 深度 学 习 心 片 市 
场 非常 受 欢 迎 , 很 多 汽车 生产 商 也 在 使 用 GPU 作为 传感器 芯片 发 展 无 人 车 ,GPU 大 有 成 
为 主流 的 趋势 。 研 究 公 司 Tractica LLC 预计 , 到 2024 年 深度 学 习 项 目 在 GPU 上 的 花费 将 
从 2015 年 的 4360 万 美元 增长 到 41 亿美 元 , 在 相关 软件 上 的 花费 将 从 1.09 亿美 元 增长 到 
104 亿美 元 。 


凭借 具备 识别 、 标 记功 能 的 图 像 处 理 器 , 在 人 工 智能 还 未 全 面 兴 起 之 前 , NVIDIA 就 
先 一 步 掌控 了 这 一 时 机 。 在 2016 E, NVIDIA 更 是 一 连 发 布 了 多 款 针 对 深度 学 习 的 芯 
如 4 月 份 发 布 的 一 款 可 执行 深度 学 习 神经 网 络 任务 的 Tesla P100 GPU ,又 如 9 月 份 发 布 的 
基于 Pascal 架构 的 深度 学 习 芯片 Tesla P4 和 Tesla P40, 其 中 , Pascal 架构 能 助 推 深度 学 习 
加 速 65 倍 。 
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NVIDIA 的 PX2 平台 是 目前 领先 的 基于 GPU 的 无 人 驾驶 解决 方案 。 每 个 PX2 由 两 个 
Tegra SoC 和 两 个 Pascal GPU 图 形 处 理 器 组 成 , 其 中 每 个 图 像 处 理 器 都 有 自己 的 专用 内 存 
并 配备 有 专用 的 指令 以 完成 深度 神经 网 络 的 加 速 。 为 了 提供 高 吞吐 量 , 每 个 Tegra SOC 使 
FH PCI-E Gen 2 x4 总 线 与 Pascal GPU 直接 相连 ,其 总 带宽 为 4 GB/s。 此 外 ,两 个 CPU-GPU 
集群 通过 干 兆 以 太 网 相连 , 数据 传输 速度 可 达 70 Gigabit/s。 借助 优化 的 VO 架构 与 深度 神 
经 网 络 的 硬件 加 速 ， 每 个 PX2 能 够 每 秒 执行 24 兆 次 深度 学 习 计算 。 这 意味 着 当 运行 
AlexNet 深度 学 习 典 型 应 用 时 ，PX?2 的 处 理 能 力 可 达 2800 帧 / 秒 ， 如 图 9-15 Aras. OY 











图 9-15 NVIDIA PX2 平台 芯片 示意 图 


2. 基于 DSP 的 解决 方案 


DSP ( Digital Singnal Processor ) 以 数字 信号 处 理 大 量 数 据 。DSP 采用 的 是 哈佛 设计 ， 
即 数据 总 线 和 地 址 总 线 分 开 , 允许 取出 指令 和 执行 指令 完全 重 普 , 在 执行 上 一 条 指令 的 同 
时 就 可 取出 下 一 条 指令 , 并 进行 译 码 , 这 大 大 提高 了 微 处 理 器 的 速度 。 男 外 ,还 允许 在 程 
序 空 间 和 数据 空间 之 间 进 行 传输 , 因为 增加 了 器 件 的 灵活 性 。 它 不 仅 具 有 可 编程 性 , 而且 
其 实时 运行 速度 可 达 每 秒 数 以 干 万 条 复杂 指令 程序 , 远 远 超过 通用 微 处 理 器 。 它 的 强大 数 
据 处 理 能 力 和 高 运行 速度 是 最 值得 称道 的 两 大 特色 。 由 于 它 的 运算 能 力 很 强 ， 速 度 很 快 ， 
体积 很 小 , 而 且 采 用 软件 编程 具有 高 度 的 灵活 性 , 因此 为 从 事 各 种 复杂 的 应 用 提供 了 一 条 
有 效 途径 。 

德州 仪器 提供 了 一 种 基于 DSP 的 无 人 驾驶 的 解决 方案 。 其 TDA2x SoC 拥有 两 个 浮 点 
DSP 内 核 C66x 和 四 个 专 为 视觉 处 理 设计 的 完全 可 编程 的 视觉 加 速 器 。 相 比 ARM 
Cortex-15 处 理 器 ， 视 觉 加 速 器 可 提供 8 倍 的 视觉 处 理 加 速 且 功 耗 更 低 。 呈 类 似 的 设计 有 
CEVA XM4。 这 是 另 一 款 基 于 DSP 的 无 人 驾驶 计算 解决 方案 ， 专 门面 向 计算 视觉 任务 中 
的 视频 流 分 析 计 算 。 使 用 CEVA XM4 每 秒 处 理 30 iji 1080p 的 视频 仅 消耗 功率 30mw， 是 
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一 种 相对 节能 的 解决 方案 ， 如 图 9-16 MR l? 





图 9-16 TI TDA2 SoC 芯片 示意 图 


3. 基于 FPGA 的 解决 方案 


作为 GPU 在 算法 加 速 上 强 有 力 的 竞争 者 ，FPGA 硬件 配置 最 灵活 ， 具 有 低能 耗 、 高 
性 能 及 可 编程 等 特性 ， 十 分 适合 感知 计算 。 更 重要 的 是 ，FPGA 相 比 GPU 价格 便宜 CHR 
然 性 价 比 不 一 定 是 最 好 的 )。 在 能 源 受 限 的 情况 下 ，FPGA 相对 于 CPU 与 GPU 有 明显 的 
性 能 与 能 耗 优 势 。FPGA 低能 耗 的 特点 很 适合 用 于 传感器 的 数据 预 处 理工 作 。 此 外 ,感知 
算法 不 断 发 展 意味 着 感知 处 理 器 需要 不 断 更 新 ，FPGA 具有 硬件 可 升级 、 可 迭代 的 优势 。 
使 用 FPGA 需要 具有 硬件 的 知识 ， 对 许多 开发 者 有 一 定 难 度 ， 因 此 FPGA 也 常 被 视 为 一 
种 行家 专属 的 架构 。 不 过 ,现在 也 出 现 了 用 软件 平台 编程 FPGA， 弱 化 了 软 硬 件 语言 间 的 
障碍 ， 让 更 多 开发 者 使 用 FPGA 成 为 可 能 。 随 着 FPGA 与 传感器 结合 方案 的 快速 普及 ， 
视觉 、 语 音 、 深 度 学 习 的 算法 在 FPGA 上 进一步 优化 ，FPGA 极 有 可 能 逐渐 取代 GPU 与 
CPU 成 为 无 人 车 、 机 器 人 等 感知 领域 上 的 主要 芯片 。 


壁 如 百度 的 机 器 学 习 硬 件 系 统 就 是 用 FPGA 打造 了 AI 专 有 芯片 ， 制 成 了 AI SAS 
片 版 百度 大 脑 一 一 FPGA 版 百度 大 脑 。 在 百度 的 深度 学 习 应 用 中 ，FPGA 相 比 相同 性 能 水 
平 的 硬件 系统 消耗 能 率 更 低 ， 将 其 安装 在 刀片 式 服务 器 上 ， 可 以 完全 由 主板 上 的 PCI 
Express 总 线 供电 ， 并 且 使 用 FPGA 可 以 将 一 个 计算 得 到 的 结果 直接 反馈 到 下 一 个 ， 不 需 
要 临时 保存 在 主 存 储 器 ， 所 以 存储 带宽 要 求 也 在 相应 降低 。 

Altera 公司 推出 的 Cyclone V SoC 是 一 个 基于 FPGA 的 无 人 轰 驶 解决 方案 ， 现 已 应 用 
在 奥迪 无 人 车 产品 中 。Altera 公司 的 FPGA 专 为 传感器 融合 提供 优化 , 可 结合 分 析 来 自 多 
个 传感器 的 数据 完成 高 度 可 靠 的 物体 检测 。[ 类 似 的 产品 有 Zyn 专 为 无 人 驾驶 设计 的 
Ultra ScaleMPSoC。 当 运行 卷 积 神经 网 络 计算 任务 时 ，Ultra ScaleMPSoC 运算 效能 为 14 
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帧 / 秒 / 瓦 ， 优 于 NVIDIA Tesla K40 GPU 可 达 的 4 帧 / 秒 / 瓦 。 同 时 ， 在 目标 跟踪 计算 方面 ， 
Ultra ScaleMPSoC 在 1080p 视频 流 上 的 处 理 能 力 可 达 60 fps， 如 图 9-17 所 示 。 





图 9-17 Altera Cyclone V SoC 芯片 示意 图 


4. 基于 ASIC 的 解决 方案 


MobilEye 是 一 家 领先 的 基于 ASIC 的 无 人 驾驶 解决 方案 提供 商 。 其 EyeQs SOC 装备 
Neg ate 分 别 对 专 有 的 算法 进行 了 优化 , 包括 计算 机 视觉 、 信 和 号 处 理 


和 机 器 学 o EyeQ5 SOC 同时 s PCI-E 端口 以 支持 多 处 理 器 间 通 信 。 这 种 加 
速 器 架构 尝 a 算 任务 适 适 的 计算 单元 ,硬件 资源 的 多 样 性 使 应 用 程序 能 
够 节省 计算 时 间 并 提高 计算 效能 ， pail 9-18 所 示 。 
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图 9-18 MobilEye EyeQ5 结构 示意 图 
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此 外 ，Nervana 一 直 在 努力 将 机 器 学 习 功 能 全 力 引 入 到 芯片 之 中 ， 是 人 工 智能 ASIC 
芯片 供应 商 。 得 到 Intel 的 支持 后 ，Nervana 正 计 划 推 出 其 针对 深度 学 习 算法 的 定制 芯片 
Nervana Engine。 据 Nervana 相关 人 员 表 示 ， 相 比 GPU Nervana Engine 在 训练 方面 可 以 
提升 10 倍 性 能 。 借 助 Nervana Engine 芯片 在 深度 学 习 训 练 方面 优 于 传统 GPU 的 能 耗 和 
性 能 优势 ，Intel 也 相继 推出 了 一 系列 适应 深度 神经 网 络 的 特殊 处 理 器 。 

5. 其 他 芯片 解决 方案 

1) 谷歌 TPU 芯片 

谷歌 公布 了 AlphaGo 战胜 李 世 石 的 “秘密 武器 ”就 是 芯片 “TPU”( 张 量 处 理 单元 ， 
Tensor Processing Unit ), 它 使 得 机 器 学 习 类 深度 神经 网 络 模型 在 每 瓦特 性 能 上 优 于 传统 硬 
件 。TPU 在 Google 2016 VO 上 首次 被 提 及 , 然而 谷歌 早 在 2013 年 就 开始 秘密 研发 TPU, 
并 且 在 2014 年 就 已 应 用 于 谷歌 的 数据 中 心 。 TPU 专 为 谷歌 TensorFlow 等 机 器 学 习 应 用 打 
造 , 能 够 降低 运算 精度 , 在 相同 时 间 内 处 理 更 复杂 、 更 强大 的 机 器 学 习 模型 并 将 其 更 快 投 
入 使 用 。 其 性 能 把 人 工 智能 技术 往 前 推进 了 差不多 7 年 ， 相 当 于 摩尔 定律 3 代 的 时 间 。 


HALL GPU 更 适合 训练 ，TPU 更 适合 做 训练 后 的 分 析 决 策 。 这 一 点 在 谷歌 的 官方 声明 
里 也 得 到 了 印证 : TPU 只 在 特定 机 器 学 习 应 用 中 起 辅助 使 用 ， 公 司 将 继续 使 用 其 他 厂商 
制造 的 CPU 和 GPU。 因 此 ，TPU 再 好 ， 也 仅 适 用 于 谷歌 ， 而 且 还 是 用 于 辅助 CPU 和 
GPU。 


2) 后 起 之 秀 概率 芯片 


2016 年 4 月 16 日 , MIT Techonolgy Review 报道 , DARPA 投资 了 一 款 由 美国 Singular 
Computing 公司 开发 的 “S1” 概 率 芯 片 ， 如 图 9-19 所 示 。 模 拟 测 试 中 ， 使 用 S1 追踪 视频 
里 的 移动 物体 ， 每 帧 处 理 速度 比 传统 处 理 器 快 了 近 100 倍 ， 而 能 耗 还 不 到 传统 处 理 器 的 
2%。 专 用 概率 芯片 可 以 发 挥 概 率 算法 简单 并 行 的 特点 ， 极 大 地 提高 系统 性 能 。 其 优点 包 
括 算法 逻辑 异常 简单 , 不 需要 复杂 的 数据 结构 , 不 需要 数值 代数 计算 ; 计算 精度 可 以 通过 
模拟 不 同 数目 的 随机 行走 自如 控制 ; 不 同 的 随机 行走 相互 独立 ,可 以 大 规模 并 行 模拟 ; 模 
拟 过 程 中 ， 不 需要 全 局 信息 ， 只 需要 网 络 的 局 部 信息 。 


早 在 2008 年 MIT Techonolgy Review“ 十 大 科技 突破 ”预测 中 ， 概 率 忌 片 就 榜 上 有 
名 。 通过 牺牲 微小 的 计算 精度 换取 能 耗 明显 降低 , 概率 芯片 在 历来 追求 精准 的 芯片 领域 独 
树 一 帜 ,但 正 因 如 此 ， 概 率 芯 片 很 可 能 后 来 居 上 。 
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图 9-19 “S1” 概 率 芯 片 示 意图 (KU: MIT Techonolgy Review ) 
3) 中 国 的 芯片 方案 
寒 武 纪 : 中 国 的 智能 芯 


寒 武 纪 是 国际 上 首 个 深度 学 习 专 用 处 理 器 芯片 。2012 年 ， 中 科 院 计算 所 和 法 国 Inria 
等 机 构 共 同 提出 了 国际 上 首 个 人 工 神经 网 络 硬件 的 基准 测试 集 benchNN。 此 后 ， 中科院 
计算 所 和 法 国 Inria 的 研究 人 员 共 同 推出 了 一 系列 不 同 结构 的 DianNao 神经 网 络 硬件 加 速 
器 结构 。 当 前 ， 寒 武 纪 系 列 已 包含 四 种 处 理 器 结构 : DianNao ( 面向 多 种 人 工 神经 网 络 的 
原型 处 理 器 结构 ) U3. DaDianNao ( 面向 大 规模 人 工 神 经 网 络 ) 09 和 PuDianNao ( 面向 多 
种 机 器 学 习 算 法 ) 02， 面 向 卷 积 神经 网 络 的 ShiDianNao09。 寒 武 纪 进 入 产业 化 运营 ， 其 
主要 方向 是 高 性 能 服务 器 芯片 、 高 能 效 终端 芯片 和 服务 机 器 人 芯片 ， 寒 武 纪 心 片 预计 于 
2018 年 左右 上 市 。 

中 星 微 

2016 年 6 月 ， 中 星 微 率 先 推出 了 中 国 首 款 徐 入 式 神 经 网 络 处 理 器 (NPU ) 芯片 “ 星 
光 智 能 一 号 "， 这 也 是 全 球 首 枚 具备 深度 学 习 人 工 智 能 的 嵌入 式 视频 采集 压缩 编码 系统 级 
芯片 ， 并 已 于 3 月 6 日 实现 了 量 产 。 该 芯片 采用 了 “数据 驱动 ”并 行 计算 的 架构 ， 单 颗 
NPU ( 28nm ) 能 耗 仅 为 400mW， 极 大 地 提升 了 计算 能 力 与 功 耗 的 比例 ,可 以 广泛 应 用 于 
智能 驾驶 辅助 、 无 人 机 、 机 器 人 等 做 入 式 机 器 视觉 领域 。 

93.3 ”计算 平台 体系 结构 设计 探索 
本 节 ， 我 们 尝试 对 以 下 问题 形成 一 些 初步 认识 。 
C1) 各 种 计算 单位 最 适合 什么 样 的 工作 负载 。 
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(2) 能 否 使 用 移动 处 理 器 执行 无 人 芍 驶 计算 任务 。 
(3) 如 何 设计 一 个 高 效 的 无 人 驾驶 计算 平台 "。 
1. 计算 单元 与 计算 负载 的 匹配 


我 们 试图 了 解 哪些 计算 单元 最 适合 执行 卷 积 和 特征 提取 类 应 用 ,这 是 无 人 驾驶 场景 中 
最 计算 密集 型 的 工作 负载 。 我 们 在 现 有 的 ARM SOC 上 完成 了 实验 验证 , 此 ARM SOC 由 
一 个 四 核 CPU, GPU. DSP 组 成 ， 详 细 硬 件数 据 可 见 。 为 了 研究 各 种 异 构 硬件 的 能 耗 与 
性 能 行为 , 我 们 分 别 在 CPU. GPU, DSP 实现 并 优化 了 特征 提取 和 卷 积 这 两 类 计算 负载 ， 
同时 测量 了 芯片 级 能 耗 。 


首先 , 我 们 分 别 在 CPU, GPU 和 DSP 实现 了 卷 积 应 用 ,这 是 在 对 象 识别 和 目标 跟踪 
任务 中 最 常用 、 计 算 也 最 密集 的 阶段 。 当 在 CPU 上 运行 时 ， 每 次 卷 积 大 约 需要 8 毫秒 来 
完成 ， 能 耗 为 20 MJ; 在 DSP 上 运行 时 ， 每 次 卷 积 需要 5 毫秒 来 完成 ， 能 耗 为 7.5 MJ; 
在 GPU 运行 时 ， 每 次 卷 积 只 需要 2 毫秒 来 完成 ， 能 耗 也 仅 需 4.5 MJ。 这 表明 ， 无 论 是 性 
能 还 是 能 耗 表 现 ，GPU 是 执行 卷 积 任务 最 有 效 的 计算 单元 ， 如 图 9-20 所 示 。 
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| 
15 | 40 | 
30 ! 
10 | 
| 20 | 
5 | | 
| " * | 
o! 0 pui 
CPU DSP 


CPU DSP — GPU GPU 
Convolution Feature Extraction 


图 9-20 卷 积 应 用 和 特征 提取 在 CPU, GPU 和 DSP 上 的 性 能 表现 


BE BOK, 我 们 实现 了 分 别 在 CPU、GPU Fil DSP 特征 提取 应 用 。 特 征 提取 为 无 人 各 驶 
的 定位 产生 特征 点 ， 这 是 定位 阶段 计算 量 最 大 的 工作 负载 : 在 CPU 上 运行 时 ， 每 个 特征 
提取 的 任务 大 约 需要 20 毫秒 来 完成 ,， 耗 能 50 MJ; 在 GPU 上 运行 时 , 每 个 特征 提取 的 任 
务 需要 10 毫秒 来 完成 ， 耗 能 22.5 MJ; 在 DSP 中 运行 时 ， 每 个 特征 提取 的 任务 仅 需 要 4 
毫秒 ， 仅 消耗 6 MJ。 这 些 结果 表明 ， 从 性 能 和 能 耗 的 角度 出 发 ，DSP 是 特征 提取 最 有 效 
的 执行 计算 单元 。 我 们 并 没有 对 无 人 鸭 驶 中 的 其 他 任务 ， 如 定位 、 规 划 、 避 障 等 进行 上 述 
分 析 , 这 是 因为 对 GPU 和 DSP 这 类 专注 于 并 行 的 硬件 而 言 ,， 上 述 任 务 侧重 于 控制 逻辑 因 
此 得 不 到 高 效 执行 。 
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2. 移动 处 理 器 上 的 无 人 驾驶 


我 们 尝试 了 解 无 人 驾驶 系统 在 上 述 ARM 移动 SoC 上 的 执行 情况 ， 并 探索 支持 无 人 
芍 驶 的 最 低 硬 件 平台 配置 ,图 9-21 所 示 为 一 个 面向 基于 视觉 的 无 人 驾驶 的 移动 SoC 系统 。 
在 这 个 移动 SoC 实现 中 , 我 们 利用 DSP 处 理 传感器 数据 ， 如 特征 提取 和 光 流 ; 我 们 使 用 
GPU 完成 深度 学 习 任 务 ， 如 目标 识别 ; 采用 两 个 CPU 线程 完成 定位 任务 以 实现 车 辆 实时 
定位 ; 我 们 使 用 一 个 CPU 线程 实现 实时 路 径 规划 ; 使 用 另 一 个 CPU 线程 进行 避 障 操作 。 
如 果 CPU 尚未 被 全 占有 ， 则 多 个 CPU 线程 可 以 在 同一 个 CPU 核心 上 运行 。 








图 9-21 无 人 驾驶 的 Mobile SoC 设计 结构 示意 图 


令 人 惊讶 的 是 , 实验 数据 证 明 无 人 驾驶 系统 在 ARM SOC 上 运行 的 性 能 并 不 差 。 定 位 
流水 线 每 秒 可 处 理 25 WEZ, 图 像 生成 速度 为 每 秒 30 ipia E, 这 说 明 产 生 的 图 像 大 部 分 
可 以 得 到 及 时 处 理 ， 不 会 产生 大 规模 的 丢 帧 。 深 度 学 习 流水 线 每 秒 能 够 执行 2-3 个 目标 
识别 任务 。 规 划 和 控制 流水 线 目 标 是 在 6ms 内 完成 路 径 规 划 。 当 使 用 ARM 移动 端 SoC 
进行 无 人 驾驶 时 , 车 辆 能 够 以 5 英里 /小 时 的 速度 行驶 , 并 且 不 损失 任何 定位 信息 。 同 时 ， 
整个 SoC 平均 功 耗 为 11W。 移 动 SoC 的 硬件 资源 有 限 ， 能 够 支持 有 限 范 围 内 的 无 人 鸭 驶 
系统 确实 是 非常 令 人 惊喜 的 发 现 。 这 说 明 如 果 增 加 更 多 的 计算 资源 , 硬件 平台 就 能 够 处 理 
更 多 的 数据 ， 并 支持 车 辆 以 更 快 的 速度 行驶 ， 最 终 满足 产品 级 无 人 轰 驶 系统 的 需要 。 

3. 计算 平台 的 设计 

ARM 移动 端 SoC 之 所 以 能 提供 这 样 的 性 能 , 是 因为 我 们 充分 利用 了 硬件 系统 的 异 构 
计算 资源 , 为 每 一 个 不 同 的 无 人 驾驶 子 任务 匹配 最 适合 的 计算 单元 , 以 达到 最 优化 的 性 能 
和 能 源 效 率 。 然而, 这 样 的 设计 思路 仍然 存在 一 个 缺点 : 我 们 不 可 能 为 所 有 的 子 任务 找到 
适 配 的 计算 单元 。 例 如 ,目标 跟踪 、 变更 车 道 预测 、 交 叉 道 路 交通 流量 预测 等 逻辑 与 计算 
都 较为 密集 的 子 任务 。 此 外 , 我 们 希望 成 熟 的 无 人 驾驶 系统 能 够 上 传 原始 传感器 数据 ， 并 
在 云端 完成 数据 处 理 。 然 而 , 传感器 数据 量 非常 巨大 , 无 人 萄 驶 系统 应 设计 为 有 能 力 采 用 
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一 切 可 用 的 网 络 带 宽 ， 在 短 时 间 内 完成 数据 上 传 。 


上 述 物 体 跟踪 、 数 据 上 传 等 子 任务 在 整个 无 人 驾驶 周期 内 并 不 需要 一 直 运 行 。 例 如 ， 
只 有 物体 识别 会 触发 物体 跟踪 , 只 有 物体 跟踪 才能 触发 流量 预测 。 数据 的 批量 上 传 可 提高 
系统 吞吐 量 并 减少 带宽 的 使 用 , 因此 数据 上 传 只 会 在 某 一 段 时 间 内 存在 。 如果 为 每 一 个 这 
样 暂 存 的 子 任务 设计 其 专 有 的 ASIC 芯片 ， 在 制造 成 本 和 人 力 成 本 上 都 得 不 偿 失 。 相 反 ， 
FPGA 是 这 些 短 周期 子 任务 的 完美 适 配 。 在 系统 中 我 们 仅 需 要 一 个 FPGA 芯片 , 通过 部 分 
重 构 技术 ， SATIVA MA INGA, Ser SEAS ETH Lae EL 
间 内 完成 FPGA 内 核 的 重 构 ， 实 时 实现 分 时 共享 。 | 


在 图 9-22 中 ,我 们 提出 了 面向 驾驶 的 无 人 计算 堆栈 。 在 计算 平台 层 ， 我 们 提出 了 一 
个 新 的 SoC 架构 。 在 此 SoC 架构 中 ， 有 一 个 VO 子 系统 与 前 端 传感器 交互 ; 由 DSP 负责 
图 像 预 处 理 流 以 进行 特征 提取 ; 由 GPU 进行 目标 识别 和 其 他 深度 学 习 任务 ; 由 一 个 多 核 
CPU 完成 规划 、 控 制 和 互动 的 子 任务 ;由 FPGA 进行 动态 重 构 以 分 时 共享 的 方式 完成 传 
感 器 数据 压缩 上 传 、 物 体 跟 踪 和 流量 预测 等 工作 。 计 算 部 件 和 IO 部 件 之 间 通 过 共享 内 存 
进行 数据 通信 。 在 SoC 硬件 平台 上 有 一 个 动态 系统 ， 通 过 OpenCL 把 不 同 的 工作 负载 分 
配 到 异 构 的 计算 单元 上 执行 , 并 由 实时 的 执行 引擎 动态 地 完成 任务 调度 。 在 动态 系统 之 上 
部 署 的 是 机 器 人 操作 系统 ( ROS )。ROS 是 一 个 分 布 式 操作 系统 ， 其 中 包含 多 个 ROS 节 
点 ,每 个 节点 上 执行 一 个 无 人 驾驶 子 任务 ， 节 点 之 间 相 互通 信 进 行 多 任务 协调 。 





图 9-22 无 人 驾驶 计算 栈 结 构 示意 图 


4. 讨论 与 结论 
我 们 已 经 实现 了 上 述 无 人 驾驶 计算 堆栈 , 相 比 已 有 的 无 人 驾驶 设计 平台 , 我 们 的 设计 
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有 以 下 优点 。 
C1) 模块 化 : 如 果 需 要 更 多 的 功能 可 添加 更 多 的 ROS 节点 。 
(2) 安全 性 : ROS 节点 提供 一 个 良好 的 隔离 机 制 ， 防 止 节点 相互 影响 。 
( 3 ) 高 度 动态 化 : 动态 系统 层 可 根据 需要 完成 调度 以 实现 大 吞吐 量 、 低 延迟 或 低 


(4) 高 性 能 : 异 构 的 体系 结构 可 以 保证 每 个 专用 计算 单元 为 适 配 的 子 任务 提供 最 高 
性 能 。 


(5 ) 节能 性 : 专用 的 计算 单位 为 每 个 子 任务 提供 了 最 高 效 的 运算 方式 ， 例 如 DSP 模 
块 是 面向 特征 提取 子 任务 中 最 具 能 耗 有 效 性 的 执行 单元 。 


现 有 的 面向 4 级 无 人 驾驶 的 计算 平台 解决 方案 功 耗 往 往 耗资 数 万 美元 ,不 仅 功 耗 高 达 
ACT EG, 在 运行 时 也 将 产生 大 量 的 热量 ,机 器 发 热 严 重 , 严重 威胁 系统 运行 的 可 靠 性 。 这 
些 功 耗 、 散 热 和 制造 成 本 上 存在 的 问题 使 得 无 人 驾驶 技术 难以 服务 于 一 般 公 众 。 在 本 节 ， 
我 们 提出 并 实现 了 一 个 模块 化 的 、 更 安全 的 、 更 高 性 能 、 能 耗 更 有 效 的 无 人 驾驶 计算 架构 
和 软件 堆栈 。 我 们 在 ARM 移动 端 SoC 上 运行 原型 系统 平均 功 耗 为 11 W， 能 驱动 车 辆 以 
每 小 时 5 英里 的 速度 实现 无 人 驾驶 。 这 说 明 如 果 增 加 更 多 的 计算 资源 , 系统 能 够 处 理 更 多 
的 数据 ， 最 终 将 满足 产品 级 无 人 驾驶 系统 的 需要 。 


9.4 ”控制 平台 


控制 平台 是 无 人 车 的 核心 部 件 , 控制 着 车 辆 的 各 种 控制 系统 , 包括 汽车 防 抱 死 制 动 系 
Zt (ABS )、 汽 车 驱动 防滑 转 系统 ( ASR )、 汽 车 电子 稳定 程序 ( ESP )、 电 子 感应 制 动 控 
Hil AB (SBC )、 电 子 制 动 力 分 配 (EBD )、 辅 助 制 动 系统 (BAS). zc ^UE (SRS) 和 
汽车 雷达 防 碰撞 系统 . 电 控 自 动 变速 器 ( EAT )、 无 级 变速 器 ( CVT ) 巡航 控 制 系统 ( CCS )、 
电子 控制 基 架 ( ECS )、 电 挖 动力 转向 系统 CEPS) 等 。 控 制 平台 主要 包括 电子 控制 单元 
(ECU ) 与 通信 总 线 两 大 部 分 : ECU 主要 实现 控制 算法 ， 通 信 总 线 主 要 实现 ECU 及 机 械 
部 件 间 的 通信 功能 。 本 节 我 们 将 详细 介绍 控制 平台 。 


9.4.1 电子 控制 单元 


电子 控制 单元 (ECU, Electronic Control Unit )， 俗 称 “车 载 电 脑 "， 是 汽车 专用 微机 
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控制 器 ， 也 叫 汽 车 专用 电脑 。 发 动机 工作 时 ，ECU 采集 各 传感器 的 信号 进行 运算 ， 并 将 
运算 结果 转变 为 控制 信号 , 控制 被 控 对 象 的 工作 。 固 有 程序 在 发 动机 工作 时 , 不 断 地 与 采 
集 来 的 各 传感器 的 信号 进行 比较 和 计算 ,再 利用 比较 和 计算 后 的 结果 完成 对 发 动机 的 点 火 、 
急速、 废气 再 循环 等 多 项 参数 的 控制 。 它 还 有 故障 自 诊 断 和 保护 功能 。 存 储 器 也 会 不 停 地 
记录 行驶 中 的 数据 ， 成 为 ECU 的 学 习 程序 ， 为 适应 驾驶 习惯 提供 最 佳 的 控制 状态 ， 这 叫 
自 适 应 程序 。 在 高 级 轿车 上 ， 有 不 止 一 只 ECU 如 防 抱 死 制 动 系统 、 四 轮 驱 动 系统 、 电 控 
自动 变速 器 、 主 动 悬 架 系统 、 安 全 气囊 系统 、 he obra cl i RM UE 
随 着 轿车 电子 化 、 自 动 化 的 提高 ，ECU 将 日 益 增 多 ， 线 路 会 日 益 复 杂 、 奔 驰 和 奥 
oe eee ee ee L R 
6.5V-16V ( 内 部 关键 处 有 稳 压 装置 )、 工 作 电 流 在 0.015A~0.1A、 工 作 温度 在 零下 40-80 
度 ， 能 承受 1000Hz 以 下 的 振动 ， 损 坏 率 非常 小 。 


ECU 从 用 途上 讲 是 汽车 专用 微机 控制 器 ， 也 叫 汽 车 专用 单片机 。 它 和 普通 的 单片机 
一 样 ， 由 微 处 理 器 ( CPU )、 存 储 器 (ROM 、RAM )、 输 入 /输出 接口 (IO )、 模 数 转换 器 
C A/D) 及 整形 、 驱 动 等 大 规模 集成 电路 组 成 。 存 储 器 ROM 中 存储 的 是 一 套 固定 的 程序 ， 

该 程序 是 以 精确 计算 和 大 量 实验 取得 的 数据 为 基础 。 固 有 程序 在 发 动机 工作 时 , 不 断 地 与 
s s Sinaloa ,以 控制 发 动机 的 点 火 、 空 燃 比 、 

. 废气 再 循环 等 多 项 参数 的 设置 ,判断 是 否 需 要 改变 喷 油 量 、 点 火 时 间 及 气门 开 度 的 
jv 


jen OE, 电 控 单元 进入 工作 状态 ， 某 些 程序 从 ROM 中 取出 进入 
CPU， 这 些 程序 专用 于 控制 点 火 时 刻 、 控 制 汽油 喷射 、 控 制 优 速 等 。 执 行程 序 中 所 需 的 发 
Siete ua 号 一 经 采集 首先 进入 输入 回路 接受 处 理 , 如 果 是 
模拟 信号 ， 则 需 先 经 过 AD 转换 器 转换 成 数字 信号 。 大 多 数 传感器 信息 将 先 暂 存在 RAM 
内 ， 然 后 根据 程序 处 理 顺 序 从 RAM 送 至 CPU 。 接 下 来 是 将 存储 器 ROM 中 的 参考 数据 引 
入 CPU， 与 传感器 输入 数据 进行 比较 。CPU 在 完成 对 这 些 数 据 的 比较 运算 后 ， 做 出 决定 
ded 信号 ， 经 VO 接口 进行 放大 ， 必 要 的 信号 还 经 D/A 转换 器 变 成 模拟 信号 ， 最 

经 输出 回路 控制 执行 器 动作 。 


随 着 轿车 电子 化 、 自 动 化 的 提高 ，ECU 将 日 益 增多 ， 目 前 高 端 汽车 在 总 计 100 多 个 
Re dap. 在 汽车 内 部 组 成 了 一 个 区 域 网 。 
一 个 ECU 发 出 的 数据 包 ， 所 有 的 节点 都 会 接收 到 ， 但 只 有 承担 该 数据 包 任务 的 节点 才 会 
去 执行 命令 。 以 刹车 灯 为 例 ， 板 行程 有 变动 时 ， 会 通知 
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监测 尾灯 的 ECU。 此 时 ,该 ECU 控制 尾灯 ， 并 将 其 通电 点 亮 。 这 个 简单 的 操作 其 实 背 后 
有 至 少 两 个 ECU 的 配合 。 要 让 所 有 这 些 ECU 之 间 相互 配合 , 就 需要 采用 一 种 称 为 多 路 复 
用 的 通信 网 络 协 议 进行 信息 传递 ， 控 制 器 区 域 网 (CAN, Controllers Area Network ) 总 线 
是 其 中 之 一 。 


EED CAN 协议 ,汽车 内 部 的 数 百 个 ECU 可 以 组 建 一 个 区 域 网 ， 有 效 地 解决 线路 信 
息 传递 所 带 来 的 复杂 化 问题 。 通用、 沃尔沃 、 特 斯 拉 等 车 型 支持 远程 控制 , 其 原理 就 是 手 
机 发 出 的 指令 先 到 达 伺 服 器 ， 然 后 被 转发 到 车 载 通信 模块 。 车 载 通信 模块 接收 到 指令 后 ， 
再 通过 CAN 总 线 将 指令 传达 到 各 个 ECU。 


为 了 弥补 CAN 协议 在 某 些 方面 的 不 足 , 汽 车 工业 还 研发 出 了 很 多 其 他 协议 ,比如 LIN 
协议 。 相 比 CAN, LIN 的 带宽 更 小 、 承 载 的 数据 量 更 少 ， 同 时 成 本 也 更 低 ， 适 合 应 用 在 
一 些 简单 的 ECU 中 ， 比 如 车 窗 升降 等 。 随 着 技术 的 进步 ， 汽 车 内 部 的 数据 量 暴 增 ， 尤 其 
是 大 屏幕 的 普及 和 流 媒体 技术 的 介入 ， 让 CAN 总 线 在 某 些 时 候 “力不从心 "， 已 无 法 胜 
任 工作 。 于 是 ， 更 高 级 的 通信 协议 问世 了 ， 比 如 MOST、FlexRay、 乙 太 网 等 。 这 些 苏 议 
标准 ， 拥 有 更 大 的 带宽 与 更 强 的 稳定 性 。 其 中 ，MOST 是 一 种 高 速 多 媒体 传输 接口 ， 专 
门 为 汽车 内 部 的 一 些 高 码 率 音频 、 视 频 提供 传输 。FlexRay 也 是 一 种 高 速 协议 ， 但 不 仅 限 
于 多 媒体 传输 。 在 自动 驾驶 的 奥迪 A7 中 ， 位 于 后 备 箱 的 车 载 CPU ( 奥迪 称 之 为 zFAS ) 
模 组 ， 就 是 依靠 FlexRay 协议 读 取 前 置 摄像 头 捕捉 的 数据 。 


EUC 的 主要 生产 厂商 括 有 博世 ( BOSCH )、 德尔 福 ( DELPHI )、 马 瑞 利 (MARELLI )、 
日 立 ( Hitachi )、 大 陆 (Continental )、 日 本 电 装 ( DENSO ) 等 。 主 要 产品 包括 博世 的 M7、 
M7.9.7, M7.9.7.1 .ME7 ME7.9.7, ME7.8.8, EDC16, 054K0; 德尔 福 的 MT20U2 , MT20U 、 
MT20, MR140, MT80, ITMS-6F; 日 立 / 电 装 的 69J0. 69EB, 77J0, 3601015A28K; P 
门 子 的 SIM2K-34, SIM2k-51.4, SIM2k-D51, SIMK43 等 系列 。 


CPU 是 ECU 中 的 核心 部 分 ， 它 具有 运算 与 控制 的 功能 。 在 发 动机 运行 时 ， 它 采集 各 
传感器 的 信号 进行 运算 , 并 将 运算 的 结果 转变 为 控制 信号 , 控制 被 控 对 象 的 工作 。 它 还 实 
行 对 存储 器 (ROM、RAM )、 输 入 /输出 接口 (IO ) 和 其 他 外 部 电路 的 控制 。Power Train 
ECU 采用 的 CPU 基本 来 自 于 Infineon, ST 和 Freescale. BOSCH 的 16 位 ECU M(E)7 系 
列 早期 主要 使 用 Infineon C167 内 核 的 CPU。 之 后 ST 为 BOSCH 定 制 了 ST10 系列 CPU, 
价格 上 更 有 优势 , 因此 BOSCH 后 期 的 16 位 ECU 基本 上 都 采用 ST10 系列 CPU. BOSCH 
的 32 位 ECU ME9 系列 主要 使 用 Freescale 的 PowerPC 内 核 的 CPU MPC55 系列 ， 其 中 
ME9 在 美国 市 场 上 销售 的 MED17 系列 则 使 用 基于 Infineon Tricore 内 核 的 CPU TC17xx。 
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MED17 系列 ECU 有 好 多 分 校 , 分 别 使 用 不 同型 号 的 TC17xx CPU。MEDC18 系列 依然 沿 
用 PowerPC 路 线 ， 选 择 了 ST 和 Freescale 两 家 供应 商 ， 使 用 了 Freescale 的 XPC56 系列 
CPU 及 ST 的 SPC56 系列 CPU. “A ECU 的 选择 更 多 ，Infineon ST, Freescale, NEC 
和 瑞 萨 电子 都 提供 相关 CPU 的 支持 。 


9.4. ”通信 息 线 


随 着 汽车 各 系统 的 控制 逐步 向 自动 化 和 智能 化 转变 , 汽车 电气 系统 变 得 日 益 复 杂 。 为 
了 满足 各 电子 系统 的 实时 性 要 求 , 我 们 须 对 汽车 数据 ， 如 发 动机 转速 、 车 轮转 速 、 节 气门 
踏板 位 置 等 信息 实行 共享 ， 因 而 我 们 需要 汽车 通信 和 总 线 。 如 图 9-23 所 示 ， 目 前 ， 车 用 总 
线 技 术 被 美国 汽车 工程 师 协 会 SAE 下 属 的 汽车 网 络 委员 会 按照 协议 特性 分 为 A、B 、C、 
D 四 类 。 





图 9-23 ”车 用 通信 总 线 分 布 示 意图 


A 类 总 线 面 向 传感器 或 执行 器 管理 的 低速 网 络 , 它 的 位 传输 速率 通常 小 于 20Kb/s。A 

类 总 线 以 LIN ( Local Interconnect Network， 本 地 互联 网 ) 规范 为 代表 ， 是 由 摩托 罗拉 与 

奥迪 等 企业 联手 推出 的 一 种 新 型 低 成 本 的 开放 式 串 行 通信 协议 ,主要 用 于 车 内 分 布 式 电 控 
系统 ,尤其 是 面向 智能 传感器 或 执行 器 的 数字 化 通信 场合 。 

B 类 总 线 面 向 独立 控制 模块 间 信息 共享 的 中 速 网 络 ， 位 速 一 般 在 10-125 Kb/s. B 类 

线 以 CAN( Controller Area Network, 控制 器 局 域 网 络 ) 为 代表 。CAN 网 络 最 初 是 BOSCH 

司 为 欧洲 汽车 市 场 开 发 的 , 只 用 于 汽车 内 部 测量 和 执行 部 件 间 的 数据 通信 , 逐渐 地 发 展 


总 
sul] 
完善 技术 和 功能 ，1993 1E, ISO 正式 颁布 了 道路 交通 运输 工具 一 一 数字 信息 交换 一 一 高 
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速 通 信 控 制 器 局 域 网 C CAN ) 国际 标准 ( ISO11898-1 ), 近 几 年 低速 容错 CAN 的 标准 ISO 
11519-2 也 开始 在 欧洲 的 一 些 车 型 中 得 到 广泛 应 用 。 


C 类 总 线 面向 闭环 实时 控制 的 多 路 传输 高 速 网 络 ， 位 速率 多 在 125Kb/s ~ 1Mb/s。C 
类 总 线 主要 用 于 车 上 动力 系统 中 对 通信 的 实时 性 要 求 比较 高 的 场合 ,主要 服务 于 动力 传递 
系统 。 汽 车 厂商 大 多 使 用 “高 速 CAN” 作 为 C 类 总 线 ， 它 实际 上 就 是 ISO 11898-1 中 位 
速率 高 于 125Kb/s 的 那 部 分 标准 。 


D 类 总 线 面 向 多 媒体 设备 、 高 速 数据 流传 输 的 高 性 能 网 络 ， 位 速率 一 般 在 2Mb/s 以 
E, 主要 用 于 CD 等 播放 机 和 液晶 显示 设备 。D 类 总 线 带宽 范畴 相当 大 , 用 到 的 传输 介质 
也 有 好 几 种 , 其 又 被 分 为 低速 (IDB-C 为 代表 )、 高 速 (IDB-M 为 代表 ) 和 无 线 ( Bluetooth 
为 代表 ) 三 大 范畴 。 

下 面 我 们 主要 了 解 局 部 互联 协议 LIN. 、 控 制 器 局 域 网 CAN， 以 及 高 速 容错 网 络 协 议 
FlexRay。 


1. 局 部 互联 协议 LIN. 


LIN 是 面向 汽车 低 端 分 布 式 应 用 的 低 成 本 、 低速 串 行 通信 总 线 。 它 的 目标 是 为 现 有 汽 
车 网 络 提供 辅助 功能 ， 在 不 需要 CAN 总 线 的 带宽 和 多 功能 的 场合 使 用 ， 降 低 成 本 。LIN 
相对 于 CAN 的 成 本 节省 来 自 三 方面 : 采用 单线 传输 、 硅 片 中 硬件 或 软件 的 低 成 本 实现 及 
无 须 在 从 属 节点 中 使 用 石英 或 陶瓷 谐振 器 。 这 些 优点 是 以 较 低 的 带宽 和 受 局 限 的 单 宿主 总 
线 访问 方法 为 代价 的 。LIN 采用 单个 主 控制 器 多 个 从 设备 的 模式 , 在 主 从 设备 之 间 只 需要 
一 根 电 压 为 12V 的 信号 线 。 这 种 主要 面向 “传感器 /执行 器 控制 ”的 低速 网 络 ， 其 最 高 传 
输 速率 可 达 20Kb/s， 应 用 于 电动 门窗 、 座 椅 调 节 、 灯 光照 明 等 控制 系统 。 典 型 的 LIN 网 
络 的 节点 数 可 以 达到 12 个 。 以 门窗 控制 为 例 ， 在 车 门 上 有 门 锁 、 车 窗 玻 璃 开关 、 车 窗 升 
降 电 机 、 操 作 按钮 等 , 只 需要 1 个 LIN 网 络 就 可 以 把 它们 连 为 一 体 。 通 过 CAN 网 关 , LIN 
网 络 还 可 以 和 汽车 的 其 他 系统 进行 信息 交换 ， 实 现 更 丰富 的 功能 ， 如 图 9-24 所 示 。 
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图 9-24 LIN 总 线 信息 交换 示意 图 


LIN 包含 一 个 宿主 节点 (Master) 和 一 个 或 多 个 从 属 节 点 (Slave )。 所 有 节点 都 包含 
一 个 被 分 解 为 发 送 和 接收 任务 的 从 属 通信 任务 ,而 宿主 节点 还 包含 一 个 附加 的 宿主 发 送 任 
务 。 在 实时 LIN 中 ,通信 总 是 由 宿主 任务 发 起 的 。 除 了 宿主 节点 的 命名 外 ，LIN 网 络 中 
的 节点 不 使 用 有 关系 统 设置 的 任何 信息 ,我 们 可 以 在 不 要 求 其 他 从 属 节 点 改变 硬件 和 软件 
的 情况 下 向 LIN 中 增加 节点 。 宿 主 节点 发 送 一 个 包含 同步 中 断 、 同 步 字 节 和 消息 识别 码 
的 消息 报头 , 从 属 任 务 在 收 到 和 过 滤 识 别 码 后 被 激活 并 开始 消息 响应 的 传输 。 响应 包含 两 
个 、 四 个 或 八 个 数据 字 节 和 一 个 检查 和 ( checksum ) 字 节 。 报头 和 响应 部 分 组 成 一 个 消息 
Wio LIN 总 线 上 的 所 有 通信 都 由 主机 节点 中 的 主机 任务 发 起 , 主机 任务 根据 进度 表 确 定 当 
前 的 通信 内 容 , 发 送 相应 的 帧 头 , 并 为 报 文 帧 分 配 巾 通道。 总 线 上 的 从 机 节点 接收 帧 关 之 
后 , 通过 解读 标识 符 确定 自己 是 否 应 该 对 当前 通信 做 出 响应 、 做 出 何 种 响应 。 基 于 这 种 报 
文 滤波 的 方式 , LIN 可 实现 多 种 数据 传输 模式 , 且 一 个 报 文 帧 可 以 同时 被 多 个 节点 接收 利 
用 。 

2. 控制 器 局 域 网 CAN 


在 当前 的 汽车 总 线 网 络 市 场 上 , 占据 主导 地 位 的 是 CAN 总 线 。 CAN 总 线 是 德国 博世 
公司 在 20 世 纪 80 年 代 初 为 了 解决 现代 汽车 中 众多 的 控制 与 测试 仪器 之 间 的 数据 交换 问题 
而 开发 的 一 种 串 行 数据 通信 协议 。 它 的 短 帧 数据 结构 、 非 破坏 性 总 线性 仲裁 技术 及 灵活 的 
通信 方式 适应 了 汽车 的 实时 性 和 可 靠 性 要 求 。CAN 总 线 分 为 高 速 和 低速 两 种 , 高 速 CAN 
最 高 ; 


-— 


高 速度 为 1Mbits ( C 类 总 线 )， 低 速 CAN 为 250Kbit/s ( B 类 总 线 )， 如 图 9-25 所 示 。 
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CAN Node 








图 9-25 CAN 总 线 结构 图 


CAN 总 线 一 般 为 线 型 结构 ， 所 有 节点 并 联 在 总 线 上 。 当 一 个 节点 损坏 时 ， 其 他 节 
依然 能 正常 工作 。 但 当 总 线 一 处 出 现 短路 时 ， 整 个 总 线 便 无 法 工作 。CAN 总 线 采用 
CSMA/CA ( Carrier Sense Multiple Access with Collision Avoidance ) 机 制 。 各 节点 会 一 直 
监听 总 线 ， 发 现 总 线 空 闲 时 便 开 始 发 送 数据 。 当 多 个 节点 同时 发 送 数据 时 , 会 通过 一 套 仲 
裁 机 制 竞 争 总 线 。 每 个 节点 会 先 发 送 数据 的 ID ID 越 小 表示 优先 级 越 大 ， 优 先 级 大 的 会 
自动 覆盖 小 的 ID。 当 节点 发 现 自己 发 送 的 ID 被 履 盖 掉 时 , 就 知道 有 比 他 优先 级 更 高 的 消 
息 正 在 被 发 送 , 便 自动 停止 发 送 。 优 先 级 最 高 的 消息 获得 总 线 使 用 权 , 开始 发 送 数据 。 当 
高 优先 级 的 数据 包 发 送 完 后 ,各 节点 便 又 尝试 竞争 总 线 。 如 此 反复 下 去 。 这 样 能 最 大 程度 
地 利用 总 线 。 商 端 是 会 有 时 效 延 迟 ， 优先 级 越 低 的 数据 包 , 可 能 需要 等 待 的 时 间 越 长 。 从 
这 一 点 上 来 讲 , CAN 总 线 不 是 一 种 实时 总 线 。 当 CAN 总 线 有 节点 发 现 当前 发 送 的 数据 有 
误 时 , 会 发 送 错误 帧 告知 总 线 上 的 所 有 节点 。 发 送 错 误 数 据 的 节点 会 重 发 。 每 个 节点 都 有 
一 个 错误 计数 器 。 当 一 个 节点 总 是 发 送 或 接收 错误 超过 一 定 次 数 时 ， 会 自动 退出 总 线 。 


3 高速 容 错 网 络 协议 FlexRay 


FlexRay 总 线 数据 收发 采取 时 间 触 发 和 事件 触发 的 方式 。 利用 时 间 触 发 通信 时 , 网络 
中 的 各 个 节点 预先 知道 彼此 将 要 进行 通信 的 时 间 , 接收 器 提前 知道 报 文 到 达 的 时 间 , 报 文 
在 总 线 上 的 时 间 可 以 预测 出 来 。 即 便 行车 环境 恶劣 多 变 , 干扰 了 系统 传输 ，FlexRay 协议 
也 可 以 确保 将 信息 延迟 和 抖动 降 至 最 低 , 尽 可 能 保持 传输 的 同步 与 可 预测 。 这 对 需要 持续 
及 高 速 性 能 的 应 用 ( 如 线 控 刹 车 、 线 控 转 向 等 ) 来 说 是 非常 重要 的 。 


FlexRay 总 线 用 的 是 TDMA( Time Division Multiple Access ) 和 FTDMA( Flexible Time 
Division Multiple Access ) 两 种 周期 通信 方法 。FlexRay 将 一 个 通信 周期 分 为 静态 部 分 、 动 
态 部 分 和 网 络 空 亲 时间。 静态 部 分 使 用 TDMA 方法 ， 每 个 节点 会 均匀 分 配 时 间 片 ， 每 个 
节点 只 有 在 属于 自己 的 时 间 片 里 才能 发 送 消 息 , 即使 某 个 节点 当前 无 消息 可 发 , 该 时 间 片 
依然 会 保留 ( 也 就 造成 了 一 定 的 总 线 资源 浪费 )。 在 动态 部 分 使 用 FTDMA 方法 会 轮流 问 








bh 156 . 
xjs.cn 000000 


9 pou 


询 每 个 节点 有 没有 消息 要 发 , 有 就 发 , 没有 就 跳 过 。 静态 部 分 用 于 发 送 需 要 经 常 性 发 送 的 
重要 性 高 的 数据 ， 动 态 部 分 用 于 发 送 使 用 频率 不 确定 、 相 对 不 重要 的 数据 。 当 FlexRay 
总 线 通信 过 程 中 出 现 数据 错误 时 , 该 周期 里 接收 到 的 所 有 数据 都 会 被 丢弃 掉 , 但 没有 重 发 
Ul. 所 有 节点 会 继续 进行 下 一 个 周期 的 通信 。FlexRay 同样 也 有 错误 计数 器 ， 当 一 个 节 
点 发 送 接收 错误 过 多 时 会 被 踢 出 总 线 。 


FlexRay 具有 高 速 、 可 靠 及 安全 的 特点 。 FlexRay 在 物理 上 通过 两 条 分 开 的 总 线 通信 ， 
每 一 条 的 数据 速率 是 10MBit/s。FlexRay 还 能 提供 很 多 网 络 所 不 具有 的 可 靠 性 特点 ， 尤 其 
是 FlexRay 具备 的 元 余 通信 能 力 可 实现 通过 硬件 完全 复制 网 络 配置 ， 并 进行 进度 监测 。 
FlexRay 同时 提供 灵活 的 配置 ， 可 支持 各 种 拓扑 ， 如 总 线 、 星 型 和 混合 拓扑 。FlexRay 本 
身 不 能 确保 系统 安全 ， 但 它 具 备 大 量 功 能 ， 可 以 支持 以 安全 为 导向 的 系统 ( 如 线 控 系统 ) 
的 设计 。 

宝马 公司 在 2007 款 X5 系列 车 型 的 电子 控制 减 震 器 系统 中 首次 应 用 了 FlexRay 技 术 ， 
如 图 9-26 所 示 。 此 款 车 采用 基于 飞 思 卡 尔 的 微 控 制 器 和 恩 智 浦 的 收发 器 ， 可 以 监视 有 关 
车 辆 速度 、 纵 向 和 横向 加 速度 、 方 向 盘 角度 、 车 身 和 轮胎 加 速度 及 行驶 高 度 的 数据 ,实现 
了 更 好 的 乘坐 舒适 性 及 轰 驶 时 的 安全 性 和 高 速 响应 性 ,此 外 还 将 施加 给 轮胎 的 负荷 变动 及 
底盘 的 振动 均 减 至 最 小 。 











图 9-26 FlexRay 总 线 分 布 图 


如 果 说 算法 是 无 人 驾驶 的 灵魂 , 那么 硬件 平台 就 是 无 人 轰 驶 的 肉体 。 一 个 没有 肉体 的 
灵魂 也 只 是 孤 魂 野 鬼 而 已 , 再 高 大 上 的 算法 也 需要 在 硬件 平台 上 才 有 实用 价值 。 硬件 平台 
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的 设计 直接 决定 了 无 人 驾驶 对 环境 的 感知 能 力 、 计 算 性 能 与 能 耗 、 鲁 棒 性 、 安 全 性 等 。 无 
人 驾驶 的 硬件 平台 又 分 为 传感器 平台 、 计 算 平台 , 以 及 控制 平台 三 部 分 。 本 章 详细 介绍 了 
这 三 种 平台 及 现 有 的 解决 方案 。 和 希望 本 章 对 无 人 鸭 驶 从 业者 及 爱好 者 选择 硬件 有 帮助 。 


9.6 参考 资料 


[1 


[2 


— 


Velodyne Product List, http://velodynelidar.com/products.html. 


bd 


Ibeo, https://www.ibeo-as.com/. 


[3 


必 一 


Quanergy solid State S3, http://quanergy.com/s3/. 


[4 


(mar) 


Velodyne VLP-16 PUC, Khttp://velodynelidar.com/vlp-16.html. 
[5] 北 醒 光子 激光 雷达 产品 列表 , http://benewake.com/Product.html. 
[6] 镭 神 智能 激光 雷达 产品 列表 , http//www.leishenlidar.com/product/leida/index.html. 


[7 


— 


速腾 聚 创 多 线 激 光 雷 达 , http://www.robosense.cn/web/rslidar/cn. 


[8] 关于 发 布 4 微 功率 ( 短 距离 ) 无 线 电 设备 的 技术 要 求 》 的 通知 , http://www.miit.gov. 
cn/n1146295/n1146592/n3917132/n4062354/n406239 1/n4062397/n4062399/c4 14811 
9/content.html. 


[9] FF ERR EUL S£, http//www.sunnyoptical.com/pro/001016/index.html. 


[10] 国家 发 展 改革 委 交 通 运输 部 关于 印发 《推进 “互联 网 +” 便 捷 交 通 促进 智能 交通 
发 展 的 实施 方案 》 的 通知 ，http://www.sdpc.gov.cn/gzdt/201608/t20160805_ 
814075.html. 


[11] NVIDIA PX2, http://www.nvidia.cn/object/drive-px-cn.html. 
[12] 德州 仪器 TDA2x SoC, http://processors.wiki.ti.com/index.php/TDA2x. 
[13] CEVA XM4 - Intelligent Vision Processor, http://www.ceva-dsp.com/CEVA-XM4. 


[14] Cyclone V SoCs, https://www.altera.com.cn/products/soc/portfolio/cyclone-v-soc/ 


overview. html. 


[15] Tianshi Chen, Zidong Du,Ninghui Sun, and et al.. DianNao: a small footprint 


b 158 l 
2rjscn 000000 


9 无 人 驾驶 的 硬件 平台 T 


high-throughput acceleratorfor ubiquitous machine-learning. /n Proceedings of the 
19th internationalconference on Architectural support for programming languages 


and operatingsystems - ASPLOS'14, pages 269-284, Salt Lake City, UT, USA, 2014. 


[16] YunjiChen, Tao Luo, Shaoli Liu, and et al.. DaDianNao: A Machine- LeamingSupercomputer. 
In Proceedings of the 47th Annual IEEE/ACM  InternationalSymposium on 
Microarchitecture -MICRO-47, 2014. 


[17] Daofu Liu, Tianshi Chen, Shaoli Liu, JinhongZhou, Shengyuan Zhou, Olivier 
Temam, Xiaobing Feng, Xuehai Zhou, and Yunji Chen.PuDianNao: A Machine 
Learning Accelerator. Jn Proceedings of the 20thinternational conference on 
Architectural support for programming languages andoperating systems, pages 
369-381, 2015. 


[18] Zidong Du, Robert Fasthuber,Tianshi Chen, Paolo Ienne, Ling Li, Tao Luo, 
Xiaobing Feng, Yunji Chen, andOlivier Temam. Shidiannao: Shifting vision 
processing closer to the sensor. /nProceedings of the 42nd ACM/IEEE International 
Symposium on ComputerArchitecture (ISCA'15). ACM, 2015. 


[19] Shaoshan Liu, Jie Tang, Zhe Zhang, Jean-Luc Gaudiot: CAAD, Computer 
Architecture for Autonomous Driving, JEEE Computer, https://arxiv.org/abs/1702. 
01894. 


l 159 4 
srjscn 000000 





无 人 驾驶 系统 安全 


本 章 主 要 介绍 无 人 驾驶 安全 。 对 无 人 鸭 驶 系统 来 说 , 安全 性 是 至 关 重 要 的 , 但 目前 针 
对 无 人 车 攻击 的 方法 有 许多 。 如 何 防御 这 些 攻 击 以 保证 无 人 车 的 安全 是 个 重要 的 课题 。 本 
节 将 详细 介绍 针对 无 人 车 传感器 、 操 作 系 统 、 控 制 系统 、 车 联网 的 攻击 手段 及 防御 方法 。 


10.1 ”针对 无 人 驾驶 的 安全 威胁 


对 于 无 人 驾驶 系统 来 说 , 安全 性 是 至 关 重 要 的 。 任何 无 人 车 如 果 达 不 到 安全 要 求 就 上 
路 是 极其 危险 的 。 目 前 , 针对 无 人 车 攻击 的 方法 五 花 八 门 , 渗透 到 无 人 驾驶 系统 的 每 个 层 
次 ,包括 传感器 、 操 作 系 统 、 控 制 系 统 、 车 联网 通信 系统 等 。 首先, 针对 传感器 的 攻击 不 
需要 进入 无 人 驾驶 系统 内 部 ， 这 种 外 部 攻击 法 技术 门槛 相当 低 ， 既 简单 又 直接 。 第 二 ， 
如 果 进 入 了 无 人 驾驶 操作 系统 , 黑客 可 以 造成 系统 崩溃 导致 停车 , 也 可 以 窃取 车 辆 敏感 信 
Bo RI, 如 果 进 入 了 无 人 驾驶 控制 系统 ,黑客 可 以 直接 操控 机 械 部 件 , 劫持 无 人 车 去 伤 
A, 是 极其 危险 的 。 第 四 ,车 联网 连接 不 同 的 无 人 车 ， 以 及 中 央 云 平台 系统 , 支持 车 联网 
通信 系统 也 可 以 造成 无 人 车 间 的 沟通 混乱 。m 中 中 





10.2 无 人 驾驶 传感器 的 安全 


由 于 传感器 处 于 整个 无 人 驾驶 计算 的 最 前 端 , 最 直接 攻击 无 人 车 的 方法 就 是 攻击 传感器 。 
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这 种 外 部 攻击 法 并 不 需要 入 侵 到 无 人 驾驶 系统 内 部 ， 使 得 入 侵 的 技术 门槛 相当 低 。 鲁 加 
正 是 因为 入 侵 的 门槛 低 ， 我 们 需要 在 传感器 端 做 大 量 的 工作 来 保证 其 安全 。 如 图 10-1 所 
示 , 对 各 种 传感器 , 我 们 都 可 以 轻易 地 攻击 与 误导 。 在 之 前 的 章节 中 我 们 提 到 可 以 使 用 惯 
性 传感器 IMU 辅助 无 人 驾驶 定位 ,但 是 IMU 对 磁场 很 敏感 ,如 果 我 们 使 用 强 磁场 干扰 IMU， 
就 有 可 能 影响 IMU 的 测量 。 对 于 GPS, 如果 在 无 人 车 附近 设置 大 功率 假 GPS 信号 ,就 可 
以 覆盖 原来 的 真 GPS 信号 , 从 而 误导 无 人 车 的 定位 。 通过 两 种 简单 攻击 方法 的 结合 , GPS 
与 IMU 的 定位 系统 会 被 轻易 攻破 。 除 了 GPS 与 IMU 外 ， 通 常 我 们 也 可 以 使 用 轮 测 距 技 
术 辅 助 无 人 车 定位 。 轮 测 距 是 通过 测量 轮子 的 转速 乘 以 轮子 的 周 长 进 行 测 距 , 如 果 黑 客 破 
坏 了 轮子 ， 这 个 定位 辅助 技术 也 会 受 影响 。 


激光 备 达 是 目前 无 人 芍 驶 最 主要 的 传感器 ,而 无 人 车 也 依赖 于 激光 雷达 数据 与 高 精 地 
图 的 匹配 进行 定位 。 但 是 激光 雷达 也 可 以 被 轻易 干扰 。 首 先 , 激光 雷达 是 通过 测量 激光 反 
射 时 间 来 测量 深度 的 。 如 有 果 我 们 在 无 人 车 周围 放置 强 反 光 物 ， 比 如 镜子 ,那么 激光 雷达 的 
测量 就 会 被 干扰 ,返回 错误 信息 。 除 此 之 外 ,如 果 黑 客 使 用 激光 照射 激光 雷达 ,激光 雷达 
的 测量 也 会 受 干扰 , 会 分 不 清 哪些 是 自身 发 出 的 信号 ,哪些 是 外 部 激光 的 信号 。 另 外 , 无 
人 和 车 会 不 断 地 下 载 更 新 的 高 精 地 图 ， 如 果 黑 客 把 下 载 的 地 图 掉包 ， 也 会 造成 定位 失效 。 


计算 机 视觉 可 以 辅助 无 人 车 完成 许多 感知 的 任务 , 比如 交通 灯 识 别 、 行 人 识别 、 车 辆 
行驶 轨迹 跟踪 等 。 在 交通 灯 识 别 的 场景 中 , 无 人 车 上 的 摄像 机 如 果 检 测 到 红 灯 , 那么 无 人 
车 就 会 停 下 来 。 如 果 检 测 到 行人 , 无 人 车 也 会 停 下 来 以 免 发 生意 外 。 黑客 可 以 轻易 地 在 路 
上 放置 假 的 红绿灯 及 假 的 行人 ， 人 迫使 无 人 车 停车 并 对 其 进行 攻击 。 外 


那么 ,既然 每 个 传感器 都 可 以 被 轻易 的 攻击 ,如 何 保证 无 人 车 的 安全 呢 ? 对 此 , RN 
需要 使 用 多 传感器 融合 的 技术 , 使 用 多 个 传感器 互相 纠正 。 攻 击 单个 传感器 很 容易 , 但 是 
如 果 同 时 攻击 所 有 的 传感器 难度 相当 大 。 当 无 人 车 发 现 不 同 传感器 的 数据 相互 间 不 一 致 时 ， 
就 知道 自己 有 可 能 正在 被 攻击 。 简单 的 例子 是 如 果 无 人 车 检查 到 交通 灯 , 但 是 高 精 地 图 在 
此 处 并 未 标注 有 交通 灯 ， 那 么 很 可 能 是 被 攻击 了 。 又 例如 ，GPS 系统 与 LiDAR 系统 定位 
的 位 置 极 不 一 致 ， 那 么 无 人 车 也 很 可 能 是 被 攻击 了 。 
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图 10-1 针对 传感器 的 攻击 示意 图 


10.3 无 人 驾驶 操作 系统 的 安全 


针对 传感器 的 攻击 是 外 部 攻击 , 并 不 需要 进入 无 人 驾驶 系统 。 另 一 种 攻击 方式 是 入 侵 
到 无 人 驾驶 操作 系统 , 动 持 其 中 一 个 节点 并 对 其 进行 攻击 。 目前 的 无 人 驾驶 操作 系统 基本 
是 基于 ROS 的 框架 实现 的 ，ROS 本 身 安全 性 有 一 定 的 问题 ,简单 总 结 有 以 下 攻击 方法 。 站 
第 一 ， 其 中 一 个 ROS 的 节点 被 劫持 ， 然 后 不 断 地 进行 分 配 内存 ， 导 致 其 系统 内 存 消耗 至 
尽 ， 造 成 系统 OOM 开始 关闭 不 同 的 ROS 节点 进程 ， 使 整个 无 人 驾驶 系统 出演 。 第 二 ， 
ROS 的 topic 或 者 service MAF, SR ROS 节点 之 间 传 递 的 信息 被 伪造 ， 从 而 导致 无 
人 轰 驶 系统 的 异常 行为 。 造 成 第 一 个 问题 的 原因 是 ROS Node 本 身 是 一 个 进程 , 可 以 无 节 
制 地 分 配 资 源 导 致 崩溃 , 另 一 个 原因 是 ROS Node 可 以 访问 磁盘 及 网 络 资源 , 并 无 很 好 的 
隔离 机 制 。 为 了 解决 这 个 问题 ， 我 们 可 以 使 用 Linux 容器 技术 (LXC) 管理 每 一 个 ROS 
节点 的 进程 。 简 单 来 说 ，LXC 提供 轻 量 级 的 虚拟 化 ， 以 便 隔 离 进程 和 资源 ， 而 且 不 需要 
提供 指令 解释 机 制 及 全 虚拟 化 等 其 他 复杂 功能 ， 相 当 于 C++ 中 的 NameSpace。LXC 有 效 
地 将 由 单个 操作 系统 管理 的 资源 划分 到 区 立 的 群 组 中 ,以 更 好 地 在 孤立 的 群 组 之 间 平 衔 有 
冲突 的 资源 使 用 需求 。 对 于 无 人 驾驶 场景 来 说 ，LXC 最 大 的 好 处 是 性 能 损耗 小 。 我 们 测 
试 发 现 ， 在 运行 时 LXC 只 造成 了 5% 左右 的 CPU 损耗 。 除了 资源 限制 外 ，LXC 也 提供 了 
沙 盒 支 持 , 使 得 系统 可 以 限制 ROS 节点 进程 的 权限 。 为 了 避免 可 能 有 危险 性 的 ROS 节点 
进程 破坏 其 他 的 ROS 节点 进程 运行 , 沙 盒 技术 可 以 限制 可 能 有 危险 性 的 ROS 节点 进程 访 
问 磁盘 、 内 存 及 网 络 资源 。 
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至 于 第 二 个 问题 , 主要 原因 是 通信 的 信息 并 没有 被 加 密 , 以 至 于 攻击 者 可 以 轻易 地 得 
知 通信 内 容 。 目 前 业界 有 不 少 对 ROS 节点 间 通 信 的 加 密 尝试 , 比如 使 用 DES 的 加 密 算法 
对 通信 的 信息 进行 加 密 。 在 通信 的 信息 量 十 分 小 的 时 候 , 加 密 与 否 对 性 能 影响 不 大 。 但 是 ， 
随 着 信息 量变 大 ， 加 密 时间 相 对 信息 量 成 几何 级 增长 。 另 外 ， 由 于 ROS 通信 系统 的 设计 
缺陷 , 加 密 时 间 也 与 接收 信息 的 节点 数量 有 直接 关系 。 当 接收 信息 的 节点 数量 增长 时 , 加 
密 时 间 也 随 之 增长 。 我 们 在 第 8 章 中 提出 了 几 个 改进 ROS 通信 系统 的 机 制 ， 在 这 些 机 制 
中 ， 加 密 对 性 能 影响 将 大 大 减少 。 


104 无 人 驾驶 控制 系统 的 安全 


如 图 10-2 所 示 , 车 辆 的 CAN 总 线 连接 着 车 内 的 所 有 机 械 及 电子 控制 部 件 , 是 车 辆 的 
中 枢 神 经 。CAN 总 线 具 有 布线 简单 、 典 型 的 总 线 型 结构 、 可 最 大 限度 地 节约 布线 与 维护 
成 本 、 稳 定 可 靠 、 实 时 、 抗 干扰 能 力 强 、 传 输 距 离 远 等 特点 。 由 于 CAN 总 线 本 身 只 定义 
ISO/OSI 模型 中 的 第 一 层 ( 物理 层 ) 和 第 二 层 ( 数据 链 路 层 )， 通 常情 况 下 CAN 总 线 网 络 
都 是 独立 的 网 络 ， 所 以 没有 网 络 层 。 在 实际 使 用 中 ， 用 户 还 需要 自己 定义 应 用 层 的 协议 ， 
因此 在 CAN 总 线 的 发 展 过 程 中 出 现 了 各 种 版 本 的 CAN 应 用 层 协 议 。CAN 总 线 采用 差分 
信号 传输 ， 通常 情况 下 只 需要 两 根 信号 线 ( CAN-H 和 CAN-L ) 就 可 以 进行 正常 的 通信 。 
在 干扰 比较 强 的 场合 ， 还 需要 用 到 屏蔽 地 即 CAN-G ( 主要 功能 是 屏蔽 干扰 信号 )。CAN 
总 线 上 任意 节点 均 可 在 任意 时 刻 主 动向 其 他 节点 发 起 通信 , 节点 没有 主 从 之 分 , 但 在 同一 
时 刻 优先 级 高 的 节点 能 获得 总 线 的 使 用 权 。 









E tora edal 
3 Door Contro! Unit 


2 
13 Upfront Sensor 
14 Airbag Control Unit 


图 10-2. CAN 总 线 安全 
如 果 CAN 被 劫持 ， 那 么 黑客 将 可 以 为 所 欲 为 ， 造 成 极其 严重 的 后 果 。 一 般 来 说 ， 要 
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进入 CAN 系统 是 极其 困难 的 ， 但 是 一 般 车 辆 的 娱乐 系统 及 检修 系统 的 OBD-II 端口 都 连 
接 到 CAN 总 线 ， 这 就 给 了 黑客 进入 CAN 的 机 会 。 攻 击 的 方式 包括 以 下 几 种 。 


(1)OBD-I 入 侵 : OBD-I 端口 主要 用 于 检测 车 辆 状态 ,通常 在 车 辆 进行 检修 时 , dx 
术 人 员 会 使 用 每 个 车 厂 开 发 的 检测 软件 接 入 OBD-I 端口 并 对 汽车 进行 检测 。 由 于 OBD-II 
连接 到 CAN 总 线 ， 只 要 黑客 取得 这 些 检测 软件 ， 包 括 Ford’s NGS, Nissan's Consult II, 
Toyota's Diagnostic Tester 等 ， 便 可 以 轻易 地 截取 车 辆 信息 。 


(2) 电动 车 充电 器 入 侵 : 电动 车 越 来 越 普及 , 充电 设备 也 成 为 了 电动 车 生态 必 不 可 少 
的 核心 部 件 。 由 于 电动 车 的 充电 装置 在 充电 时 会 与 外 部 充电 桩 通信 , 而 且 电 动车 的 充电 装 
会 连接 CAN 总 线 ， 这 就 给 了 黑客 通过 外 部 充电 桩 入 侵 CAN 系统 的 机 会 。 


(3) ER CD 机 入 侵 : 兽 经 有 攻击 的 案例 是 把 攻击 代码 编码 到 音乐 CD 中 ， 当 用 户 揪 
放 CD 时 ， 恶 意 攻 击 代码 便 会 通过 CD 播放 机 侵入 CAN 总 线 ， 从 而 取得 总 线 控制 及 盗 取 
车 辆 核心 信息 。 


(4) 蓝牙 入 侵 : 如 今 蓝 牙 互 连 已 经 成 为 汽车 通信 及 车 上 娱乐 系统 的 标 配方 案 。 由 于 
我 们 可 以 通过 蓝牙 给 CAN 发 送信 息 及 从 CAN 读 取 信息 ， 也 给 了 黑客 攻击 的 窗口 。 除 了 
取得 车 主 手机 的 控制 权 ， 由 于 蓝牙 的 有 效 范围 是 10 米 ， 黑 客 也 可 以 使 用 蓝牙 进行 远程 攻 


(5) TPMS 入 侵 : TPMS 是 车 轮 压力 管理 系统 ， 也 有 黑客 对 TPMS 展开 攻击 。 在 这 种 
攻击 方法 中 ， 黑 客 先 把 攻击 代码 放置 在 车 辆 的 TPMS ECU 中 ， 然 后 当 TPMS 检测 到 某 个 
胎 压 值 时 ， 亚 意 代码 便 会 被 激活 ， 从 而 对 车 辆 进行 攻击 。 


如 图 10-3 Aras, 一 个 通用 的 解决 方法 是 对 ECU 接收 的 信息 进行 加 密 验 证 , 以 保证 信 
息 是 由 可 信 的 MCU， 而 不 是 由 黑客 发 出 的 。 使 用 加 密 验证 ， 我 们 可 以 选择 对 称 密码 ,或 
者 非 对 称 密码 。 对 称 密码 的 计算 量 小 但 是 需要 通信 双方 预先 知道 密码 ; 非 对 称 密码 无 须 预 
先知 道 密码 ， 但 是 计算 量 大 。 由 于 大 部 分 车 用 ECU 计算 能 力 与 内 存 有 限 ， 通 用 的 做 法 是 
使 用 对 称 密码 加 密 ， 然 后 密 钥 在 生产 过 程 中 被 写 入 ECU 中 。 这 样 的 后 果 是 有 许多 ECU 
复 用 同一 个 密 钥 , 当 一 个 ECU 密 钥 被 破解 后 , 同 批 的 ECU 都 会 有 风险 。 为 了 解决 这 个 问 
题 ， 学 术 界 和 业界 也 提出 了 几 种 解决 方案 中 。 





。 TLS 安全 协议 沿用 非 对 称 密码 的 算法 对 通信 双方 进行 验证 。 
e Kerberos 是 一 个 通用 的 基于 对 称 密码 的 算法 验证 平台 。 
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e TESLA 安全 协议 (注意 : 这 个 TESLA 安全 协议 与 TESLA 汽车 没有 关系 ) 提出 了 
使 用 对 称 密码 机 制 模拟 非 对 称 密码 的 做 法 ， 从 而 达到 既 安 全 又 能 降低 计算 量 的 目 
的 。 

° LASAN 安全 协议 使 用 两 步 验证 的 机 制 让 通信 双方 实时 交换 密 钥 , 然后 使 用 对 称 密 
但 的 算法 对 信息 进行 验证 。 























ECU: ECU: \ECU; | 
| application application | 
| ee | =, | ee 

encryption/ 3 encryption/ d. | | 
deco (9.8. T 





Network 


— —* Message Stream ew» Secure Connection 


图 10-3 ECU 安全 加 密 系 统 组 成 


10.5 “车 联网 通信 系统 的 安全 性 


当 无 人 车 上 路 后 ， 它 会 成 为 车 联网 的 一 部 分 。V2X 是 车 联网 通信 机 制 的 总 称 。 可 以 
说 ，V2X 是 泛 指 各 种 车 辆 通信 的 情景 ， 包 括 V2V、V2I、V2P 等 。 通 过 V2X， 车 辆 可 以 
获得 实时 路 况 、 道 路 信息 、 行 人 信息 等 一 系列 交通 信息 ， 从 而 带 来 远 距 离 环 境 信号 。 比 如 
V2V, 最 普遍 的 应 用 场景 是 在 城市 街道 、 高 速 公 路 中 , 车 辆 之 间 可 以 相互 通信 , 发 送 数 据 ， 
实现 信息 的 共享 。 这 些 共享 数据 包括 车 辆 的 时 速 、 相 对 位 置 、 刹 车 、 直 行 还 是 左 拐 等 所 有 
这 些 与 行驶 安全 相关 的 数据 都 将 提前 提供 给 周围 的 车 辆 ,使 得 周围 的 车 辆 都 能 够 预 判 到 其 
他 车 辆 的 驾驶 行为 ， 从 而 实现 主动 的 安全 策略 。V2X 安全 防护 是 无 人 轰 驶 必要 技术 和 智 
党 交通 的 重要 一 环 ， 本 节 我 们 讨论 V2X 的 潜在 安全 风险 及 解决 方案 ， 如 图 10-5 所 示 。 


LTE-V 与 DSRC 是 当前 车 联网 的 两 大 技术 阵营 ， 前 者 主要 由 中 国企 业 推动 ， 后 者 的 
发 展 比 LTE-V 成 熟 ， 是 欧美 等 国 车 联网 的 主流 技术 。DSRC 即 专用 短程 通信 技术 ， 是 基 
T IEEE802.11p 标准 开发 的 一 种 高 效 的 无 线 通信 技术 , 可 提供 高 速 的 数据 传输 , 并 保证 通 
信 链 路 的 低 延 时 和 低 干 扰 , 可 实现 小 范围 内 图 像 、 语 音 和 数据 的 实时 、 准 确 和 可 靠 的 双向 
传输 。NHTSA ( National Highway Traffic Safety Administration ) 美国 国家 公路 交通 安全 局 
已 经 将 IEEE802.11p 作为 DSRC 的 标准 协议 。 
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图 10-5 车 联网 V2X 系统 示意 图 

802.11p 是 在 802.11 的 基础 上 改进 的 ， 适 应 于 要 求 更 严格 、 环 境 更 恶劣 的 车 间 通 信 ， 
其 采用 5.9GHz 的 频段 , 通信 距离 达 300 米 。 在 物理 层 层面 , 75MHz 被 划分 为 7 个 10MHz 
的 信道 ， 频 率 最 低 的 SMHz 作为 安全 空白 ， 中 间 的 一 个 信道 是 控制 信道 ， 并 且 有 关 安 全 
的 信息 都 是 广播 的 形式 。 边 上 相 邻 的 两 个 信道 可 以 用 于 服务 ， 经 过 协商 后 可 当 作 一 个 
20MHz 的 信道 使 用 ， 比 如 传输 视频 之 类 ， 其 通信 优先 级 别 比 较 低 。 控 制 信道 使 用 小 点 的 
带宽 利于 减少 多 普 勒 频 移 效应 , 两 倍 和 警戒 间隔 减少 了 多 径 传 输 引 起 的 码 间 干扰 。 以 上 改动 
的 结果 使 物理 层 的 传输 速率 减少 了 一 半 ， 标 准 的 802.11p 的 传输 速率 是 3Mbit/s， 最 大 传 
输 速 率 是 27Mbit/s。 室 内 传输 范围 300m， 室 外 最 大 传输 距离 1000m ( 无 阻隔 状态 )。 TE. 
卢 级 别 加 强 信道 管理 (对 芯片 制造 商 提出 更 严格 的 要 求 ), 改进 Mac 层 让 通信 工作 组 更 有 
效率 都 是 802.11p 的 特有 之 处 。SAE ( Society of Automotive Engineer ) 美国 汽车 工程 师 协 
会 制定 了 一 组 基于 DSRC 的 数据 消息 标准 ， 包 括 数据 内 容 和 帧 格式 。 这 个 标准 的 名 称 为 
SAE J2735, 其 中 ,这 个 标准 目前 的 工作 重点 领域 是 车 间 通 信 的 最 小 性 能 需求 和 BSM Basic 
Safety Message， 基 本 安全 消息 ) 消息 。 其 中 , 一 部 分 BSM 消息 需要 较 高 的 实时 性 、 需 要 
1 秒 钟 发 布 10 次 ,还 有 另外 一 些 信 息 ， 根 据 实际 场景 进行 广播 。DSRC 将 需要 传输 的 数 
据 标 准 化 , 并 将 其 具体 的 实现 方式 也 标准 化 , 采用 ASN.1 = Abstract Syntax Notation One， 
这 样 从 数据 消息 转换 为 各 种 代码 实现 就 有 了 固定 的 标准 , 并 有 相应 的 工具 支持 , 免 去 了 各 
种 数据 结构 的 代码 定义 、 编 解码 实现 等 。 


确保 V2X 通信 安全 的 系统 要 满足 以 下 两 个 基本 条 件 : 第 一 ， 确 认 消 息 来 自 合法 的 发 
送 设 备 , 这 需要 通过 验证 安全 证 书 来 保证 。 第 二 , 确认 消息 传输 过 程 中 没有 被 修改 , 这 和 需 
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要 接受 信息 后 计算 信息 的 完整 性 。 为 了 实现 V2X 的 安全 , 欧盟 发 起 了 V2X 安全 研究 项 目 
PRESERVE， 并 在 项 目 中 提出 了 符合 vox 安全 标准 的 硬件 、 软 件 ， 以 及 安全 证 书架 构 ， 
如 图 10-6 pz, Pl 


C NEA ZEB T KEUZE , RF A Flash Ej RAM, 
密 钥 会 被 轻易 盗 取 。 另 外 ,使 用 加 密 解 密 技 术 会 对 计算 资源 消耗 极 大 .为 了 解决 这 些 问题 ， 
PRESEVER 提出 了 设计 安全 存储 硬件 ， 以 及 使 用 ASIC 硬件 加 速 加 解密 。 


(2) 软件 : 在 安全 硬件 上 ，PRESEVER 提供 了 一 整套 开源 软件 栈 去 提供 安全 通信 。 
这 套 软 件 栈 提供 了 加 密 解密 的 软件 库 、 电子 证 书 认证 库 . 与 受信 任 的 证 书 颁发 机 构 的 安全 


通信 库 等 。 


(3) 安全 证 书 : 为 了 确保 信息 来 源 与 可 信 设 备 , 我 们 可 以 使 用 受信 任 的 证 书 颁发 机 构 
来 提供 安全 证 书 与 密 钥 。 当 汽车 A 向 汽车 B 放送 信息 时 , 汽车 A 的 发 送 器 会 在 信息 上 添 
加 电子 签名 ， 并 用 密 钥 对 信息 进行 加 密 。 汽 车 B 接收 信息 时 ， 会 首先 对 信息 的 电子 证 书 
进行 认证 ， 确 认 信息 是 由 汽车 A 发 送 的 ， 然 后 使 用 公 钥 对 信息 进行 解密 ， 并 对 信息 的 完 
整 性 进行 验证 。 
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本 
10.6 ”安全 模型 校 验 方法 


为 了 保证 无 人 驾驶 系统 的 安全 性 ,我 们 需要 从 纵向 对 系统 的 每 个 层面 进行 校 验 ,WU 
0203) 这 些 层面 包括 了 代码 、 电 子 控制 单元 ( Electronic Control Unit )、 控 制 算法 、 车 内 网 
及 车 外 网 、 自 动车 整体 与 物理 环境 结合 的 所 谓 网 宇 实体 系统 , 甚至 需要 多 部 车 辆 互相 通信 
的 车 联网 。 越 往 上 层 系统 的 复杂 度 越 大 , 校 验 也 越 困难 。 所 以 一 般 对 上 层 系统 的 分 析 会 基 
于 下 层 的 分 析 结 果 做 抽象 化 处 理 。 例如 在 分 析 车 内 网 时 , 对 与 网 络 链接 的 电子 控制 单元 一 
般 只 考虑 通信 接口 的 模型 , 已 不 会 考虑 电子 控制 单元 内 的 具体 功能 及 软件 。 在 对 每 个 层面 
做 安全 分 析 时 ,我 们 也 需要 考虑 各 种 不 同 的 威胁 模型 和 攻击 向 量 。 例 如, 代码 的 安全 校 验 
除了 需要 考虑 缓冲 区 溢出 ， 还 要 考虑 其 他 模块 通过 利用 API 来 侵入 ， 或 者 是 第 三 方 软件 
里 载 有 木马 的 威胁 。 在 对 车 内 网 分 析 时 , 要 考虑 在 某 个 电子 控制 单元 被 黑客 控制 下 可 能 出 
现 的 各 种 情况 ， 包 括 阻 断 服务 攻击 ( Denial of Service Attack )、 修 改 通 信件 的 内 容 、 伪 造 
通信 件 的 来 源 等 由 于 无 人 驾驶 系统 对 人 处理 速度 和 容量 的 要 求 远 远 高 于 传统 车 辆 控制 系统 
的 需求 ， 一 部 分 单 核 的 电子 控制 单元 在 不 久 的 将 来 会 被 多 核 芯片 或 GPU 取代 。 每 个 新 的 
电子 控制 单元 将 会 支持 多 个 功能 或 多 个 功能 的 部 分 实现 ,而 这 些 功能 会 通过 虚拟 机 管理 硬 
件 资源 分 配 。 从 安全 的 角度 来 说 , 我 们 需要 对 虚拟 机 管理 器 进行 分 析 , 比如 虚拟 机 与 虚拟 
机 之 间 的 通信 (intra-VM communication ) 要 保证 不 被 第 三 方 干扰 或 窃听 。 无 人 车 加 入 了 
很 多 新 的 自动 行驶 功能 , 比如 最 简单 的 自动 刹车 。 对 于 这 些 功能 的 控制 算法 , 验证 时 我 们 
也 需要 全 面 地 考虑 前 文 所 提 到 的 一 系列 威胁 , 包括 某 个 传感器 的 信息 被 恶意 修改 通信 汇 
道 被 墙 所 引起 的 信息 滞后 等 。 因 为 无 人 车 需要 强大 的 AI 系统 做 支持 ， 对 这 些 AI 系统 的 
不 同 攻 击 方式 也 在 校 验 的 考虑 范围 内 。 最 近 有 研究 指出 , 深度 学 习 系 统 ( 应 用 在 图 像 识别 
上 ) 也 很 容易 被 攻击 。 例 如 ,修改 一 张 图 像 中 的 几 个 像素 就 可 能 使 识别 结果 大 相 径 庭 。 这 
个 隐患 大 大 增加 了 系统 被 黑客 攻破 的 可 能 性 。 在 车 联网 的 层面 上 , 常见 的 安全 问题 有 通信 
信息 被 篡改 ， 被 黑客 控制 的 车 辆 故意 提供 假 信 息 或 伪造 身份 ， 阻 断 服务 攻击 ， 女 焉 攻击 
(sybilattack: 单 辆 车 通过 控制 多 个 身份 标识 对 网 络 整体 进行 攻击 )， 以 及 盗 取 其 他 车 主 的 
私密 信息 (比如 所 在 位 置 )。 


对 于 这 些 安全 问题 及 攻击 向 量 的 分 析 涉 及 的 技术 非常 广 。 本 章 , 我 们 重点 介绍 了 关于 
车 内 网 (比如 前 面 提 到 的 CAN) 和 控制 系统 的 安全 模型 和 验证 。 现 有 的 车 内 网 安全 协议 
一 般 建 立 在 一 些 基 本 的 加 密 单元 上 , 比如 对 称 密 钥 加 密 和 非 对 称 密 钥 加 密 。 一般 初始 身份 
鉴别 时 需要 用 非 对 称 密 钥 加 密 , 而 之 后 的 通信 就 可 以 用 相对 更 快 的 对 称 密 钥 加 密 。 根据 不 
同 的 安全 等 级 需求 , 密 钥 的 长 度 会 不 一 样 。 长 的 密 钥 会 更 安全 , 也 会 增加 加 密 和 解密 的 时 
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间 ， 因 此 影响 到 控制 系统 的 性 能 。 男 外 ， 长 的 密 钥 会 增加 通信 的 负担 。 不 管 是 CAN 还 是 
TDMA 类 的 车 内 网 协议 ， 这 些 附加 的 安全 信息 都 可 能 导致 通信 超时 ( 结果 可 能 是 来 不 及 
刹车 )。 所 以 在 安全 校 验 的 同时 也 必须 考虑 增加 安全 机 制 所 产生 的 延 时 。 最 后 ， 密 钥 的 分 
发 和 管理 也 至 关 重 要 。 这 是 当前 的 一 个 技术 难点 , 还 没有 特别 好 的 解决 方案 。 对 于 协议 本 
身 的 验证 方法 有 几 种 。 一 般 来 说 , 我 们 先 校 验 协议 的 数学 模型 。 最近 提出 的 LASAN 就 是 
先 用 形式 化 验证 工具 Scyther 证 明 协 议 的 安全 性 ,然后 做 仿真 来 测试 性 能 .对 于 控制 系统 ， 
分 析 时 是 会 侧重 考虑 攻击 对 数据 所 产生 的 影响 ( 比如 延 时 、 丢 失 或 假 数 据 )， 然 后 对 相应 
的 安全 方案 C 比如 传感器 数据 混合 处 理 或 状态 估计 ) 做 数学 证 明 来 达到 校 验 的 目的 。 类似 
的 方法 也 被 应 用 在 验证 一 些 车 联网 的 功能 上 , 像 合作 的 可 变 巡 航 控制 。 总 体 来 说 , 无 人 车 
的 安全 问题 至 关 重 要 , 如果 车 辆 被 黑客 攻击 或 控制 会 危及 生命 。 但 是 , 不 管 从 技术 还 是 标 
准 化 的 角度 看 , 现 阶段 对 于 无 人 车 安全 问题 的 校 验 尚 未 成 熟 , 还 需要 学 术 界 和 工业 界 的 深 
入 研究 与 大 力 开发 。 
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基于 Spark 与 ROS 的 分 
布 式 无 人 区 驶 模拟 平台 


本 章 着 重 介绍 基于 Spark 与 ROS 的 分 布 式 无 人 驾驶 模拟 平台 。 无 人 驾驶 的 安全 性 和 
可 笔 性 是 通过 海量 的 功能 和 性 能 测试 保证 的 。 无 人 芍 驶 系统 是 一 个 复杂 的 系统 工程 , 在 它 
的 整个 研发 流程 中 , 测试 工作 至 关 重 要 同时 也 繁重 复杂 。 显然 全 部 测试 工作 都 集中 在 真 车 
PARUM nA UR 且 安全 系数 非常 低 的 测试 方案 。 通 过 综合 考虑 测试 中 各 种 可 

》 生 的 正常 或 异常 状况 ,软件 模拟 成 为 了 面向 无 人 鸭 驶 系统 的 更 安全 且 更 经 济 有 效 的 蔡 
powers 


11.1 无 人 驾驶 模拟 技术 


| 预测 、 决 策 、 控 制 等 众多 功能 模块 组 成 , 每 个 模块 都 各 自 拥 
有 复杂 的 结构 和 算法 。 绝 大 部 分 情况 下 , 在 测试 过 程 中 系统 开发 人 员 很 难 对 海量 的 输出 参 
ul. EIN, FRA SCHLEMMER, LAER ARCS Me, 
因此 , 系统 开发 人 员 需 要 的 模拟 器 必须 能 够 直观 正确 地 反映 出 输出 参数 的 意义 , 同时 既 能 
对 各 个 模块 进行 单一 的 集成 测试 ,又 能 将 各 个 模块 按照 需求 分 别 组 合 后 进行 集成 测试 。" 


模拟 器 技术 主要 有 两 种 : 第 一 种 是 基于 合成 数据 ,对 环境 、 感 知 及 车 辆 进行 模拟 ,这 
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种 模拟 器 主要 用 于 控制 与 规划 算法 的 初步 开发 上 ;第 二 种 是 基于 真实 数据 的 回放 以 测试 无 
人 驾驶 不 同 部 件 的 功能 及 性 能 。 本 节 ， 我 们 主要 讨论 基于 数据 回放 的 模拟 器 。 


出 于 尽量 真实 地 模拟 真 车 环境 的 需求 ,我 们 的 模拟 器 采用 了 和 真 车 相同 的 机 器 人 操作 
系统 ROS, ROS 是 一 种 基于 消息 传递 通信 的 分 布 式 计算 框架 。 这 种 框架 方便 开发 人 员 进 
行 模块 化 编程 , 这 一 特性 对 于 模拟 器 来 说 至 关 重 要 。 在 无 人 芍 驶 系统 中 , 每 一 个 功能 模块 
在 ROS 中 都 部 署 在 一 个 节点 上 ， 节 点 间 的 通信 依靠 事先 定义 好 格式 的 message 完成 。 在 
模拟 器 中 开发 人 员 只 需要 使 用 相同 的 通信 格式 , 针对 每 个 功能 模块 制作 模拟 模块 ,就 可 以 
根据 测试 需求 搭配 真实 功能 模块 和 模拟 模块 。 例如, 如 果 想 进行 决策 模块 和 控制 模块 的 功 
能 联 调 , 我 们 需要 将 决策 模块 、 控 制 模块 搭配 其 他 的 模拟 模块 , 并 安装 到 模拟 器 中 进行 测 
试 。 如 果 决 策 模 块 需要 单独 测试 新 的 决策 算法 , 我 们 可 以 只 将 新 的 决策 模块 搭配 其 他 的 模 
拟 模块 安装 到 模拟 器 上 ， 这 样 的 测试 结果 只 是 针对 决策 模块 的 。 


11.1.1 模拟 器 的 组 成 元 素 


首先 , 无 人 车 模拟 器 中 包含 的 是 车 的 动态 模型 。 车 的 动态 模型 是 用 来 加 载 测试 无 人 车 
轰 驶 系统 ,并 模拟 无 人 车 自身 的 行为 的 。 其 次 , 模拟 器 需要 模拟 的 是 外 部 环境 。 外 部 环境 
主要 分 为 静态 的 场景 和 动态 的 场景 。 静 态 场景 中 包括 各 种 静态 的 交通 标志 ， 例 如 停止 线 、 
交通 指示 有 牌 等 。 动 态 场景 主要 指 车 周围 的 动态 交通 流 模型 ， 例 如 车 辆 、 行 人 、 交 通 灯 等 。 
所 有 这 些 元 素 构建 了 与 现实 环境 相对 应 的 模拟 世界 。 


11.1.2 ”模拟 器 的 应 用 


无 人 车 真实 上 路 后 要 面临 的 外 部 环境 是 复杂 多 变 的 。 模 拟 器 在 模拟 测试 中 需要 做 的 就 是 
将 复杂 的 外 部 环境 拆 解 成 最 简单 的 元 素 ， 然 后 重新 排列 组 合 ， 生 成 各 种 测试 用 例 。 


拿 一 组 简单 的 测试 用 例 举例 。 图 11-1 所 示 为 一 个 简单 的 直线 行驶 的 车 道 ， 需 要 测试 
的 是 无 人 车 对 于 一 辆 障碍 车 的 反应 。 按照 障碍 车 可 能 出 现 的 起 始 位 置 划 分 , 障碍 车 可 能 出 
现在 无 人 车 的 左前 、 左 中 、 左 后 、 前 、 后 、 右 前 、 右 中 、 右 后 总 计 八 个 位 置 。 按 照 障碍 车 
和 无 人 车 的 相对 速度 划分 , 障碍 车 分 为 比 无 人 车 快 、 与 无 人 车 速度 相等 、 比 无 人 车 慢 这 三 
类 。 按照 障碍 车 的 行为 划分 则 分 为 直行 、 向 左 变 道 和 向 右 变 道 三 种 。 将 这 些 变量 相 乘 ,去 
掉 其 中 不 需要 的 个 例 就 得 到 了 一 组 我 们 需要 的 测试 用 例 。 
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图 11-1 模拟 器 在 无 人 驾驶 中 的 应 用 
11.1.3 ”模拟 器 面临 的 问题 


模拟 器 的 核心 问题 在 于 “ 真 ” 上， 人 工 模拟 的 场景 和 真实 场景 多 少 会 有 差异 , 真实 场 
景 中 仍然 会 存在 许多 人 想象 不 到 的 突 发 事件 。 因 此 , 如 果 能 采用 真实 的 行车 数据 复 现 真 实 
场景 将 会 得 到 比 人 工 模拟 的 场景 更 好 的 测试 效果 。 但 采用 真实 数据 复 现 的 方案 随 之 带 来 的 
问题 就 是 海量 数据 的 处 理 。 如 果 我 们 想 在 模拟 器 上 复 现 真实 世界 中 每 一 段 道 路 的 场景 , 我 
们 就 需要 让 无 人 车 采集 每 一 段 道 路 的 信息 , 这 些 海量 的 信息 是 单机 无 法 处 理 的 , 而 且 在 每 
个 场景 下 拆 解 元 素 重新 排列 组 合生 成 测试 用 例 的 做 法 会 使 计算 量 翻 倍 。 因此, 将 模拟 器 搭 
载 到 分 布 式 系统 上 就 成 为 了 无 人 驾驶 模拟 测试 的 最 佳 选择 。 


11.2 ”基于 ROS 的 无 人 驾驶 模拟 器 


ROS 是 一 种 基于 消息 传递 通信 的 分 布 式 计算 框架 。 它 的 通信 模式 可 以 抽象 为 一 种 
message pool 的 架构 ， 消 息 发 送 节 点 调用 advertise 方法 向 指定 Topic Kix ROS message, 
消息 接收 节点 调用 subscribe 方法 从 指定 Topic 接收 ROS message. ” 


11.2.1 Rosbag 


Rosbag 是 一 套利 用 这 一 架构 从 Topic 中 录制 并 且 向 Topic 重新 播放 ROS message 的 工 
H, 在 无 人 车 的 数据 采集 过 程 中 , 使 用 的 正 是 Rosbag 这 套 工 具 。Rosbag 的 功能 主要 分 为 
Record 和 Play 两 类 。Record 功能 是 在 ROS 中 建立 一 个 record 节点 ， 调 用 subscribe 方法 
向 所 有 或 指定 Topic 接收 ROS message， 然 后 将 message 写 入 Bag 文件 。Play 功能 则 是 在 
ROS 中 建立 一 个 play 节点 ， 调 用 advertise 方法 将 bag 中 的 message 按照 时 间 节 点 发 送 至 
指定 Topic。 图 11-2 所 示 为 一 个 LiDAR 数据 在 ROS 中 回放 的 实例 ,在 这 个 场景 中 ，LiDAR 
数据 是 以 10Hz 的 帧 率 记 录 的 。 








Srjs.cn 000000 173 A 





下 第 一 本 无 人 驾驶 技术 书 





图 11-2. Ros bag LIDAR 数据 回放 原理 


Rosbag 生成 的 数据 格式 是 Bag， 这 是 一 个 拥有 两 层 逻 辑 结 构 的 文件 格式 。 如 图 11-3 
所 示 ， 上 层 的 Bag 类 对 上 抽象 提供 了 用 户 操 作文 件 的 方法 , 对 下 封装 了 对 ChunkedFile 的 
操作 方法 ，ChunkedFile 类 主要 对 数据 进行 了 分 隔 存储 ， 而 存储 的 数据 为 一 条 条 的 ROS 
message, ROS message 的 内 容 不 仅 包含 文字 信息 ， 有 时 也 包含 大 量 的 二 进 制 数据 ， 这 些 
主要 是 无 人 车 的 sensor 发 送 的 图 片 或 者 3D 点 云 文件 的 数据 。 这 就 给 传统 的 主要 用 来 处 理 
文字 日 志 的 分 布 式 计 算 系 统 应 用 带 来 了 新 的 挑战 。 


Bag 


ChunkedFile 





图 11-3 Rosbag 结构 图 


11.2.2 ”模拟 测试 数据 集 


如 上 所 述 , 我 们 主要 关注 基于 真实 数据 回放 的 模拟 器 , 那么 这 个 数据 量 有 多 大 呢 ? 我 
们 将 以 KITTI 数据 集 为 实例 了 解 一 下 。KITTI 数据 集 是 由 KIT 和 TTIC 在 2012 年 开始 的 
一 个 合作 项 目 ， 网 址 为 http://www.cvlibs.net/datasets/kitti/， 这 个 项 目的 主要 目的 是 建立 一 
个 具有 挑战 性 的 、 来 自 真 实 世 界 的 测试 集 。 他 们 使 用 的 数据 采集 车 配备 了 一 对 140 万 像素 
的 彩色 摄像 头 、Point Grey Flea 2 (FL2-14S3C-C)、10Hz 采集 频率 ; 一 对 140 万 像素 的 黑 
白 摄像 头 、Point Grey Flea 2 (FL2-14S3M-C)、10Hz 采集 频率 ; 一 个 激光 雷达 、Velodyne 
HDL-64E; 一 个 GPS/IMU 定位 系统 、OXTS RT 3003, ? 
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KITTI 的 研究 人 员 使 用 这 个 配置 录制 了 6 个 小 时 的 真实 数据 , 数据 量 为 720GB, 但 是 
6 小 时 的 数据 仅 够 完成 一 些 算法 的 简单 验证 ， 而 无 人 芍 驶 产品 所 需求 的 数据 远大 于 此 。 比 
如 谷歌 的 无 人 车 在 过 去 几 年 中 收集 了 超过 40000 小 时 的 真实 数据 ， 总 数据 量 应 该 超过 了 
5PB。 这 样 基于 单机 的 模拟 远 不 能 支撑 如 此 大 量 的 数据 处 理 , 所 以 我 们 必须 为 基于 真实 数 
据 回 放 的 模拟 器 设计 一 个 高 效 的 分 布 式 计算 平台 。 


11.2. ”计算 量 的 挑战 


巨大 的 数据 处 理 量 对 计算 平台 造成 了 很 大 的 压力 。 例 如 ，KITTI 数据 焦 整 6 小 时 的 原 
数据 包括 了 超过 1000000 5K 140 万 像素 的 彩 图 ,使 用 我 们 的 基于 深度 学 习 的 图 像 识别 平台 
( 单机 )， 每 张 彩 图 分 析 时 间 大 概 是 0.3 秒 。 这 样 , 仅 是 分 析 KITTI 数据 集 的 图 片 ， 在 单机 
上 就 再 要 超过 100 小 时 , 而 如 果 分 析 谷 歌 无 人 车 级 别 的 整体 图 片 数 据 , 在 单机 上 需要 超过 
60 万 个 小 时 。 





S 





11.3 ZT Spark 的 分 布 式 的 模拟 平台 


Spark 是 UC Berkeley AMP Lab 开源 的 通用 并 行 计算 框架 。Spark 基于 内 存 实现 的 分 
布 式 计算 ， 拥 有 Hadoop 所 具有 的 优点 ; 但 不 同 于 Hadoop, Spark Job 的 中 间 输 出 和 结果 
可 以 保存 在 内 存 中 ， 从 而 不 再 需要 读 写 HDFS， 因 此 Spark 能 更 好 地 适用 于 需要 迭代 的 


map-reduce 算法 。 口 


如 图 14-4 所 示 , 为 了 高 效 的 分 布 式 的 进行 无 人 驾驶 回放 模拟 , 我 们 设计 了 基于 Spark 
的 分 布 式 模拟 平台 框架 。 我 们 使 用 Spark 进行 资源 的 分 配 管理 、 数 据 的 读 写 ， 以 及 ROS 
的 节点 管理 。 在 Spark Driver 上 ， 我 们 可 以 触发 不 同 的 模拟 应 用 ， 比 如 基于 LiDAR 的 定 
位 、 基 于 图 片 的 物体 识别 、 车 辆 决策 与 控制 等 。Spark Driver 会 根据 数据 量 与 计算 量 等 需 
求 请 求 Spark Worker 资源 。 每 个 Spark Worker 首先 会 把 Rosbag 数据 读 入 内 存 ， 然 后 通过 
pipe 启动 ROS Node 进程 进行 计算 。 我 们 也 可 以 使 用 JNI 方式 连接 Spark Worker 及 ROS 
Node， 但 是 这 样 将 涉及 对 ROS 的 修改 ， 使 得 整个 系统 难以 维护 与 迭代 。 在 权 衔 过 后 ,我 
们 最 终 选择 了 pipe 的 设计 方案 ， 如 图 11-4 所 示 。 

在 pipe 的 设计 方案 中 ， 有 两 个 问题 需要 解决 : 第 一 ，Spark 本 身 支持 文本 数据 读 取 ， 
但 并 不 支持 多 媒体 数据 读 取 ， 我 们 需要 设计 一 个 高 效 的 二 进 制 文件 的 读 取 方法 。 第 二 ， 
Rosbag 的 play 功能 如 何 从 内 存 中 读 取 缓存 的 数据 ,record 功能 如 何 将 数据 缓存 至 内 存 中 。 
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我 们 将 讨论 以 下 这 些 设计 。 


图 11-4 分 布 式 模拟 平台 总 体 架构 图 
11.3.1 二进制 文件 流 式 管道 处 理 
Spark 操作 数据 的 核心 是 弹性 分 布 式 数据 集 (RDD )， 它 允许 程序 员 以 一 种 容错 的 方 
式 在 -- 个 大 型 集群 上 执行 内 存 计 算 。 百 度 公司 美 国 研发 中 心 之 前 的 一 个 工作 就 是 在 这 一 数 
据 结构 的 基础 上 引入 一 个 新 的 RDD 来 实现 二 进 制 文件 流 式 管道 处 理 。 其 结构 如 图 11-5 
所 示 。 
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Fd 11-5 BinPipedRDD 的 总 体 设 计 和 主要 功能 示意 图 
在 每 一 个 Spark 的 worker 上 ，worker 根据 BinpipedRDD 的 信息 通过 标准 输入 流 在 内 
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存 中 将 数据 传送 给 用 户 程序 ,用 户 程序 处 理 完 数据 后 通过 标准 输出 流 在 内 存 中 将 数据 传 回 
给 Spark 的 worker。worker 将 数据 汇集 存储 到 HDFS 上 。 


11.3.2. Rosbag 缓存 数据 读 取 


在 当前 使 用 场景 下 ( 如 图 11-6 所 示 ), 我 们 的 输入 是 一 定量 的 Bag 二 进 制 文件 (文件 
以 某 种 形式 存储 在 分 布 式 文件 系统 上 面 )， 而 用 户 想 要 的 输出 是 所 有 这 些 Bag 文件 在 每 一 
个 worker 上 回放 信息 进入 模拟 器 后 经 过 处 理 得 到 的 数据 ， 显 然 这 一 过 程 通过 Rosbag 的 
play 和 record 功能 最 易 实 现 。 


User Program 


ROS ROS 
play record 


ROS 


M Customize 
Data 





z^7Odo 





不 过 这 一 过 程 中 还 存在 缺失 的 环节 , BI Rosbag 的 play 功能 如 何 从 内 存 中 读 取 缓存 的 
数据 ，record 功能 如 何 将 数据 缓存 至 内 存 中 。 为 了 实现 这 一 功能 ， 我 们 为 原来 的 Bag 和 
ChunkedFile 的 两 层 逻 辑 结 构 增 加 了 一 个 分 支 逻 辑 层 。 如 图 11-7 所 示 , MemoryChunkedFile 
类 继承 于 ChunkedFile 类 并 且 重 写 了 ChunkedFile 所 有 的 方法 。MemoryChunkedFile 在 向 
下 层 读 写 文件 时 是 向 内 存 读 写 数据 ， 并 不 是 像 ChunkedFile 类 一 样 向 硬盘 读 写 数据 。 这 样 
做 带 来 了 一 个 好 处 就 是 worker 通 过 标准 输入 流传 给 模拟 器 的 数据 不 用 经 过 磁盘 10 读 写 就 
可 以 被 直接 读 入 ， 经 过 模拟 器 处 理 的 数据 不 用 经 过 磁盘 IO 读 写 就 可 以 由 内 存 直接 传 回 
worker。 这 样 的 读 写 模 式 极 大 地 减少 了 模拟 需 处 理 数 据 的 时 间 。 


ChunkedFile MemoryChunkedFite 





图 11-7. MemoryChunkedFile 结构 设计 
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通过 这 一 逻辑 层 的 添加 ， 我 们 可 以 将 模拟 器 部 署 到 Spark 机 群 内 的 每 一 台 worker 机 
右上 。 我 们 可 以 通过 加 载 不 同 的 配置 文件 使 每 台 机 器 运行 不 同 的 模块 ; 也 可 以 通过 部 团 相 
同 模块 不 同 模型 、 运 行 相同 数据 以 比较 模型 的 不 同 ; 还 可 以 在 相同 模块 相同 模型 的 条 件 下 
运行 不 同 数 据 , 以 比 对 不 同 数据 的 差异 。 由 此 可 见 , 分 布 式 系 统 的 使 用 为 模拟 器 添加 了 无 
数 扩 展 的 可 能 性 。 


11.3.3 ”性 能 评估 


在 设计 实现 的 同时 , 我 们 对 系统 进行 了 性 能 评估 。 随 着 计算 资源 的 增加 ,计算 时 间 也 
在 线性 降低 , 系统 表现 出 很 强 的 可 扩展 性 , 可 以 承受 很 大 的 数据 量 与 计算 量 。 在 一 个 图 像 
识别 测试 集中 , 使 用 单机 处 理 的 图 像 数 据 耗 时 为 3 个 小 时 , 而 使 用 8 个 Spark Worker 后 ， 
耗 时 仅仅 为 25 分 钟 。 假 设 我 们 使 用 10000 个 Spark Worker 对 谷歌 无 人 车 级 别 的 数据 进行 
大 规模 的 图 像 识别 模拟 测试 ， 那 么 整个 实验 可 以 在 100 小 时 内 完成 。 





11.4 ”结论 


使 用 分 布 式 系统 能 够 极 大 提升 模拟 器 的 工作 能 力 , 使 得 无 人 鸭 驶 系统 的 测试 工作 得 以 
大 规模 有 序 化 的 扩展 。 这 一 结果 是 建立 在 模拟 器 架构 模块 化 , 以 及 测试 用 例 组 合 模块 化 的 
基础 之 上 的 。 采 用 分 布 式 系统 搭建 模拟 平台 使 得 在 真 车 上 路 之 前 , 测试 无 人 车 将 行驶 的 每 
一 条 道路 成 为 现实 。 当 然 , 无 人 车 在 真实 道路 上 的 测试 依然 必 不 可 少 , 但 是 模拟 器 已 经 为 
无 人 驾驶 系统 测试 了 海量 的 基础 情景 ,可 以 以 最 低 的 成 本 来 最 大 限度 地 保障 真 车 测试 时 的 
安全 性 。 
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无 人 驾驶 中 的 高 精度 地 图 


高 精度 地 图 作为 无 人 轰 驶 发 展 成 熟 标志 的 重要 支撑 ， 在 横向 /纵向 精确 定位 、 基 于 车 

道 模 型 的 碰撞 避让、 障碍 物 检测 和 如 让 、 智 能 调 速 、 转 向 和 引导 等 方面 发 挥 着 重要 作用 ， 
是 无 人 轰 驶 的 核心 技术 之 一 。 精 准 的 地 图 对 无 人 车 的 定位 、 导 航 与 控制 , 以 及 无 人 和 侣 驶 的 
安全 至 关 重 要 。 本章 首先 介绍 高 精 地 图 与 传统 地 图 的 区 别 , 然后 介绍 高 精 地 图 的 特点 及 制 
作 过 程 。 在 了 解 了 高 精 地 图 的 基础 知识 后 ， 我 们 探索 高 精 地 图 在 无 人 驾驶 场景 中 的 应 用 。 


12.1 ”电子 地 图 分 类 


我 们 日 常 使 用 的 用 于 导航 、 查 询 地 理 信息 的 地 图 都 属于 传统 电子 地 图 , 其 主要 服务 对 
象 是 人 类 驾驶 员 。 与 传统 电子 地 图 不 同 ,高 精度 电子 地 图 的 主要 服务 对 象 是 无 人 驾驶 系统 。 
本 节 讨论 传统 电子 地 图 与 高 精度 电子 地 图 的 不 同 。 


12.1.1 ”传统 电子 地 图 


如 图 12-1 所 示 ， 我 们 日 常 使 用 的 用 于 导航 、 查 询 地 理 信息 的 地 图 ， 如 合 歌 地 图 、 百 
度 地 图 、 苹 果 地 图 等 ,都 可 以 并 入 传统 电子 地 图 。 尽管 电子 地 图 出 现 还 不 到 一 百年 , 对 传 
统 地 图 的 研究 和 开发 已 经 有 几 干 年 的 历史 , 并 发 展 出 制图 学 这 一 门 学 科 。 在 制图 学 的 基础 
E, 电子 地 图 的 出 现 极 大 地 提高 了 地 图 的 检索 效率 , 并 且 能 快速 地 查找 最 优 路 径 , 极 大 地 
方便 了 人 们 的 出 行 。 
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图 12-1 传统 电子 地 图 示意 图 





传统 电子 地 图 是 对 路 网 的 一 种 抽象 : 所 有 的 传统 地 图 都 将 路 网 抽象 成 有 向 图 的 形式 : 
图 的 顶点 代表 路 口 , 边 代表 路 口 与 路 口 的 连接 。 路 名 、 地标 及 道路 骨架 信息 都 可 以 被 抽象 
成 存储 于 这 些 有 向 图 顶点 或 边 中 的 属性 。 这 种 抽象 的 地 图 表征 形式 能 很 好 地 适应 人 类 驾驶 
员 的 需求 ， 其 原因 在 于 人 类 生来 就 有 很 强 的 视觉 识别 及 逻辑 分 析 能 力 。 在 鸭 驶 的 过 程 中 ， 
人 类 驾驶 员 一 般 都 能 有 效 地 判别 如 下 信息 : 识别 路 面 及 路 面 标示 线 , 确定 自己 在 路 面 的 大 
致 位 置 ， 寻 找 并 辨认 路 标 ， 等 等 。 参 照 这 些 辨 识 出 的 信息 ， 结 合 当 前 GPS ( 一般 的 精度 
在 5~10 米 ) 在 当前 电子 地 图 中 的 位 置 ， 人 类 鸭 驶 员 便 可 大 致知 道 自己 在 实际 路 网 中 的 位 
EL, 并 计划 下 一 步 如何 鸭 驶 。 正 是 基于 人 类 鸭 驶 员 的 这 些 能 力 , 传统 的 电子 地 图 可 以 被 极 
大 精简 , 比如 一 条 弯曲 的 道路 可 以 被 精简 到 用 只 有 几 个 点 的 线段 来 表示 , 只 要 大 致 的 轮廓 
符合 现实 路 网 的 结构 ， 人 类 驾驶 员 即 可 结合 当前 的 驾驶 信息 定位 自己 的 当前 位 置 。 


12.1.2 ”高 精度 电子 地 图 


与 传统 电子 地 图 不 同 , 高 精度 电子 地 图 的 主要 服务 对 象 是 无 人 车 , 或 者 说 是 机 器 驾驶 
员 。 和 人 类 驾驶 员 不 同 , 机 器 驾驶 员 缺 乏 人 类 与 生 俱 来 的 视觉 识别 、 逻 辑 分 析 的 能 力 。 例 
如 ， 人 可 以 很 轻松 、 准 确 地 利用 图 像 、GPS 定位 自己 ,鉴别 障碍 物 、 人 、 交 通信 号 灯 等 ， 
但 这 些 对 当前 的 机 器 人 来 说 都 是 非常 困难 的 任务 。 借 助 高 精度 地 图 能 够 扩展 车 辆 的 静态 环 
境 感知 能 力 ,为 车 辆 提供 其 他 传感器 提供 不 了 的 全 局 视野 ,包括 传感器 监测 范围 外 的 道路 、 
交通 和 设施 信息 。 高 精度 地 图 面向 无 人 驾驶 环境 采集 生成 地 图 数据 , 根据 无 人 驾驶 需求 建 
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转向 和 引导 等 方面 都 可 以 发 挥 重 要 作用 ， 是 当前 无 人 车 技术 中 必 不 可 少 的 一 个 组 成 部 分 ， 
如 图 12-2 所 示 。 





图 12-2 高 精度 电子 地 图 示意 图 

高 精度 电子 地 图 包含 大 量 的 行车 辅助 信息 。 如 图 12-3 所 示 ， 这 些 辅助 信息 可 以 分 成 
两 类 ,一 类 是 道路 数据 ， 如 道路 车 道 线 的 位 置 、 类 型 、 宽 度 、 坡 度 和 曲率 等 车 道 信息 ; 男 
一 类 是 行车 道路 周围 相关 的 国定 对 象 信息 ， 如 交通 标志 、 交 通信 号 灯 等 信息 、 车 道 限 高 、 
下 水 道口 、 障 碍 物 及 其 他 道路 细节 ， 还 包括 高 架 物体 、 防 护栏 、 树 、 道 路 边缘 类 型 、 路 边 
地 标 等 基础 设施 信息 。 所 有 上 述 信息 都 有 地 理 编 码 , 因此 导航 系统 可 以 准确 定位 地 形 、 物 
体 和 道路 轮廓, 从 而 引导 车 辆 行驶 。 其 中 最 重要 的 是 对 路 网 精确 的 三 维 表征 ( 厘米 级 精度 )， 
例如 路 面 的 几何 结构 、 道 路 标示 线 的 位 置 、 周 边 道路 环境 的 点 云 模型 等 。 有 了 这 些 高 精度 
的 三 维 表征 ， 车 载 机 器 人 就 可 以 通过 比 对 车 载 的 GPS、IMU LIDAR 或 摄像 头 的 数据 精 
确 地 确认 自己 当前 的 位 置 。 除 此 以 外 , 高 精度 地 图 还 包含 丰富 的 语义 信息 ,比如 交通 信号 
灯 的 位 置 及 类 型 、 道 路 标示 线 的 类 型 、 识 别 哪些 路 面 是 可 以 行驶 的 ,等 等 。 通 过 对 高 精度 
地 图 模型 的 提取 , 可 将 车 辆 位 置 周 边 的 道路 、 交 通 、 基 础 设施 等 对 象 及 对 象 之 间 的 相对 关 
系 提取 出 来 。 这 些 能 极 大 地 提高 车 载 机 器 人 鉴别 周围 环境 的 能 力 。 此 外 , 高 精度 地 图 还 能 
帮助 无 人 车 识别 车 辆 、 行 人 及 未 知 障碍 物 , 因为 一 般 的 地 图 会 过 滤 掉 车 辆 、 行 人 等 活动 障 
碍 物 。 如 果 无 人 车 在 行驶 过 程 中 发 现在 当前 高 精度 地 图 中 没有 的 物体 , 这 些 物体 有 很 大 的 
概率 是 车 辆 、 行人 或 障碍 物 。 因此 , 高 精度 地 图 可 以 提高 无 人 车 发 现 并 鉴别 障碍 物 的 速度 
和 精度 。D 
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12-3 ”高 精度 地 图 识别 对 象 


12.2 ”高 精度 地 图 的 特点 


相 比 服务 于 GPS 导航 系统 的 传统 地 图 而 言 ， 高 精度 地 图 最 显著 的 特征 是 其 表征 路 面 
特征 的 精准 性 。 一 般 情况 下 ， 传 统 地 图 只 需要 做 到 米 量 级 的 精度 即 可 实现 基于 GPS 的 导 
航 ， 但 高 精度 地 图 需要 至 少 10 倍 以 上 的 精度 ， 即 达到 厘米 级 的 精度 才能 保证 无 人 车 行驶 
的 安全 。 目 前 ， 商 用 GPS 的 精度 仅 有 5 米 左 右 ， 而 高 精度 地 图 与 传感器 协同 工作 ， 可 将 
车 辆 的 位 置 定 位 精确 到 厘米 级 ( TomTom Google, Here 等 产品 的 的 定位 精度 都 达到 10-20 
厘米 )。 


此 外 ,高 精度 地 图 还 需要 有 比 传统 地 图 更 高 的 实时 性 。 由 于 道路 路 网 每 天 都 会 有 变化 ， 
比如 道路 整修 、 道 路 标识 线 磨损 及 重读 、 交 通 标示 改变 等 。 这 些 改 变 需要 及 时 反映 在 高 精 
度 地 图 上 以 确保 无 人 车 行驶 安全 。 要 做 到 实时 的 高 精度 地 图 有 很 高 的 难度 , 但 随 着 越 来 越 
多 载 有 多 种 传感器 的 无 人 车 行驶 在 路 网 中 ， 一 旦 有 一 辆 或 几 辆 无 人 车 发 现 了 路 网 的 变化 ， 
通过 和 云端 的 通信 , 就 可 以 把 路 网 更 新 信息 告诉 其 他 的 无 人 车 , 使 得 其 他 无 人 车 变 得 更 加 


聪明 和 安全 。 
12.2.4 数据 特征 类 型 


和 传统 地 图 相似 ， 高 精度 地 图 也 具有 分 层 的 数据 结构 。 如 图 12-4 所 示 ， 底 层 是 一 个 
基于 红外 线 主 达 传感器 建立 的 精密 二 维 网 格 。 一 般 这 个 二 维 网 格 的 精度 保证 在 5x5 厘米 
左右 ， 可 以 行驶 的 路 面 、 路 面 障碍 物 ， 以 及 路 面 在 激光 雷达 下 的 反光 强度 都 被 存储 于 相应 
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的 网 格 中 。 无 人 车 在 行驶 的 过 程 中 , 通过 比 对 其 红外 线 雷达 搜集 到 的 数据 及 其 内 存 中 的 高 
精 二 维 网 格 ， 就 能 确定 车 辆 在 路 面 的 具体 位 置 。 








图 12-4 ”高 精度 地 图 二 维 网 格 表征 


除了 底层 的 二 维 网 格 表征 外 , 高 精度 地 图 还 包含 很 多 有 关 路 面 的 语义 信息 。 如 图 12-5 
所 示 , 在 二 维 网 格 参照 系 的 基础 上 ,高 精度 地 图 一 般 还 包含 道路 标识 线 的 位 置 及 特征 信息 ， 
以 及 相应 的 车 道 特征 。 由 于 车 载 的 传感器 可 能 会 因为 恶劣 天 气 、 障 碍 物 , 以 及 其 他 车 辆 的 
遮挡 不 能 很 可 靠 地 分 析出 车 道 信息 ,高 精度 地 图 中 的 车 道 信息 特征 能 帮助 无 人 车 更 准确 可 
靠 的 识别 道路 标识 线 ， 并 理解 相 邻 车 道 之 间 是 否 可 以 安全 并 道 。 





图 12-5 高 精度 地 图 中 的 车 道 信息 


此 外 ， 如 图 12-6 所 示 ， 高 精度 地 图 还 会 标明 道路 标示 牌 、 交 通信 号 等 相对 于 二 维 网 
格 的 位 置 。 这 些 信息 有 如 下 两 方面 的 作用 。 





(1 ) 提 前 预备 无 人 车 , 告诉 无 人 车 在 某 些 特定 的 位 置 检测 相应 的 交通 标示 牌 或 交通 信 
号 灯 ， 提 高 无 人 车 的 检测 速度 。 


(2) 在 无 人 车 没有 成 功 检 测 出 交通 标示 牌 或 信号 灯 的 情况 下 ， 确 保 行车 的 安全 。 
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图 12-6 高 精度 地 图 中 的 道路 标识 线 及 路 牌 信息 
12.2.2 ”数据 量 估计 


无 人 车 使 用 的 高 精度 地 图 是 个 2D 的 网 格 , 数据 主要 由 激光 雷达 产生 ， 由 于 激光 雷达 
的 精度 大 约 是 5 厘米 左右 ， 所 以 地 图 的 最 高 精度 可 以 达到 每 个 网 格 5 厘米 x5cm 厘米 。 在 
如 此 高 的 精度 下 , 如 何 有 效 地 管理 数据 是 高 精度 地 图 的 一 个 大 挑战 。 首 先 , 为 了 尽量 让 地 
图 在 内 存 里 面 , 我 们 要 尽量 去 掉 不 需要 的 数据 。 一 般 的 激光 雷达 可 覆盖 方圆 100 米 的 范围 ， 
假设 每 个 反光 强度 可 以 用 一 个 字 节 记录 ,那么 每 一 次 激光 雷达 扫描 可 以 产生 4MB 的 数据 。 
这 样 的 扫描 会 包括 公路 旁边 的 树木 及 房屋 , 但 是 无 人 车 的 行驶 并 不 需要 这 些 数 据 , 我 们 只 
需要 记录 公路 表面 的 数据 即 可 。 假 设 路 面 的 宽度 为 20 米 ， 那 么 我 们 可 以 通过 数据 处 理 把 
非 公 路 表面 的 数据 过 滤 控 ， 这 样 每 次 扫描 的 数据 量 会 下 降 到 0.8MB。 在 过 滤 数 据 的 基础 
上 ,我 们 可 以 使 用 无 损 的 压缩 算法 ， 比 如 LASzip 去 压缩 地 图 数据 ， 可 以 达到 超过 10 倍 
的 压缩 率 。 经 过 这 些 处 理 后 , 一 个 1TB 的 硬盘 就 可 以 存 下 全 中 国 超过 10 万 公里 的 高 精 地 
图 数据 。 








12.3 ”高 精度 地 图 的 生产 


传统 的 电子 地 图 主要 依靠 卫星 图 片 产 生 ， 然 后 依靠 GPS 定位 ， 这 种 方法 可 以 达到 米 
级 精度 ， 而 高 精 地 图 需要 达到 厘米 级 精度 ， 仅 仅 靠 卫星 与 GPS 是 不 够 的 。 因 此 ， 高 精 地 
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图 的 生产 涉及 多 种 传感器 ， 由 于 产生 的 数据 量 很 大 ， 通 常 我 们 会 使 用 数据 采集 车 ( 如 图 
12-7 所 示 ) 收集 数据 ， 然 后 通过 线 下 处 理 把 各 种 数据 融合 产生 高 精 地 图 。 






图 12-7 配备 各 种 传感器 的 高 精度 地 图 数据 采集 车 
12.3.1 高 精度 地 图 需要 的 传感器 种 类 
高 精度 地 图 的 制作 是 一 个 多 传感器 融合 的 过 程 ， 包 括 以 下 传感器 。 


C1) 陀螺 仪 (IMU): 一 般 会 使 用 6 轴 运 动 处 理 组 件 ， 包 含 了 3 轴 加 速度 和 3 轴 陀 螺 
Xo 加 速度 传感器 是 力 传感器 ,用 来 检查 上 、 下 、 左 \ 右 、 前 、 后 哪 几 个 面 受 了 多 少 力 ( 包 
括 重力 )， 然 后 计算 每 个 轴 <x, y z> 上 的 加 速度 。 陀 螺 仪 就 是 角速度 检测 仪 ， 检 测 每 个 轴 
«x, y, z> 上 的 加 速度 。 假 设 一 辆 无 人 车 以 Z 轴 为 轴 心 ， 在 一 秒 钟 的 时 间 转 到 了 90 度 ， 那 
么 它 在 Z 轴 上 的 角速度 就 是 90 度 / 秒 。 从 加 速度 推算 出 运动 距离 需要 经 过 两 次 积分 ， 所 
VA, 但 凡 加 速度 测量 上 有 任何 不 正确 , 在 两 次 积分 后 , 位 置 的 错误 会 积累 然后 导致 位 置 预 
测 错误 。 所 以 ， 单 靠 陀 螺 仪 并 不 可 以 精准 地 预测 无 人 车 的 位 置 。 


(2) 轮 测 距 器 (Wheel Odometer ): 我 们 可 以 通过 轮 测 距 器 推算 无 人 车 的 位 置 。 在 汽 
车 的 前 轮 通 常安 装 了 轮 测 距 器 , 会 分 别 记 录 左 轮 与 右 轮 的 总 转 数 。 通 过 分 析 每 个 时 间 段 里 
左右 轮 的 转 数 , 我 们 可 以 推算 出 车 辆 向 前 走 了 多 远 , 向 左右 转 了 多 少 度 等 。 可 是 由 于 在 不 
同 地 面 材质 (比如 冰 面 与 水 泥 地 ) 上 转 数 对 距离 转换 的 偏差 ， 随 着 时 间 的 推进 , 轮 测 距 的 
测量 偏差 会 越 来 越 大 。 所 以 单 靠 轮 测 距 器 并 不 可 以 精准 地 预测 无 人 车 位 置 。 


(3) GPS: GPS 接收 机 的 任务 就 是 确定 四 颗 或 更 多 卫星 的 位 置 , 并 计算 出 它 与 每 笑 卫 
星之 间 的 距离 , 然后 用 这 些 信息 使 用 三 维 空间 的 三 边 测量 法 推算 出 自己 的 位 置 。 要 使 用 距 
离 信 息 进行 定位 ， 接 收 机 还 必须 知道 卫星 的 确切 位 置 。GPS 接收 机 存储 有 星 历 ， 其 作用 
是 告诉 接收 机 每 颗 卫 星 在 各 个 时 刻 的 位 置 。 在 无 人 车 复杂 的 动态 环境 ， 尤 其 在 大 城市 中 ， 
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由 于 各 种 高 大 建筑 物 的 阻拦 。GPS 多 路 径 反 射 (Multi-Path ) 的 问题 会 更 明显 。 这 样 得 到 
的 GPS 定位 信息 很 容易 就 有 几 十 厘米 甚至 几米 的 误差 , 所 以 单 靠 GPS 不 可 以 制作 高 精 地 
图 。 


(4) LIDAR: 光学 雷达 通过 首先 向 目标 物体 发 射 一 束 激光 , 然后 根据 接收 一 反射 的 时 
问 间隔 确 定 目标 物体 的 实际 距离 。 根据 距离 及 激光 发 射 的 角度 , 通过 简单 的 几何 变化 可 以 
推导 出 物体 的 位 置信 息 。LiDAR 系统 一 般 分 为 三 个 部 分 : 第 一 是 激光 发 射 器 ， 发 射出 波 
长 为 600nm~1000nm 的 激光 射线 ;第 二 部 分 是 扫描 与 光学 部 件 ， 主 要 用 于 收集 反射 点 距 
离 与 该 点 发 生 的 时 间 和 水 平角 度 (Azimuth ); 第 三 个 部 分 是 感光 部 件 , 主要 检测 返回 光 的 
组 度 。 因 此 , 我们 检测 到 的 每 一 个 点 都 包括 了 空间 坐标 信息 <x y, z> 及 光 强 度 信息 <i>。 光 
强度 与 物体 的 光 反 射 度 (reflectivity) 直接 相关 ， 所 以 从 检测 到 的 光 强 度 我 们 也 可 以 对 检 
测 到 的 物体 有 初步 判断 。 


12.3.2 ”高 精度 地 图 计算 模型 


图 12-8 所 示 为 一 个 通用 的 高 精 地 图 制作 流程 ， 过 程 中 涉及 了 多 个 传感器 与 多 个 计算 
步 又 。 首 先 ， 陀 螺 仪 (IMU ) 及 轮 测 距 器 ( Wheel Odometer ) 可 以 高 频率 地 给 出 当前 无 人 
车 的 位 置 预测 , 但 是 由 于 陀螺 仪 及 轮 测 距 器 的 精确 度 原 因 , 给 出 的 位 置 可 能 会 有 一 定 程度 
的 偏差 。 为 了 纠正 这 些 偏差 .我们 可 以 使 用 传感器 融 合计 技术 (比如 使 用 Kalman Filter ) 
结合 GPS 与 LiDAR 的 数据 算出 当前 无 人 车 的 准确 位 置 。 然 后 根据 当前 的 准确 位 置 与 激光 
雷达 的 扫描 数据 ， 我 们 可 以 把 新 的 数据 加 入 地 图 中 P! 
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图 12-8 ”高 精 地 图 计算 架构 示意 图 


下 面 的 公式 是 个 高 度 简化 的 高 精 地 图 计算 模型 ，2 代表 优化 方程 ，z 代表 激光 雷达 扫 
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描 出 的 点 ,有 h 方程 预测 最 新 扫描 点 的 位 置 与 反光 度 ，m 扫描 到 的 点 在 地 图 中 的 位 置 , x (X 
表 无 人 车 当前 的 位 置 。 这 个 方程 的 目的 是 通过 最 小 化 7 了 求 出 测量 出 的 点 在 地 图 中 的 准确 位 
置 。 在 这 个 计算 模型 中 , m 与 x 开始 都 是 未 知 的 , 所 以 我 们 可 以 先 通过 多 传感器 的 融合 求 
出 无 人 车 的 位 置 x*， 然 后 求 出 测量 点 在 地 图 中 的 准确 位 置 mo 


J 2 Q(z - h(m,x)) 


12.44 无 人 驾驶 场景 中 的 应 用 


高 精度 电子 地 图 包含 大 量 的 行车 辅助 信息 ,包括 路 面 的 几何 结构 ,道路 标示 线 的 位 置 ， 
周边 道路 环境 的 点 云 模型 等 。 有 了 这 些 高 精度 的 三 维 表征 , 无 人 驾驶 系统 就 可 以 通过 比 对 
车 载 的 GPS, IMU, LIDAR 或 摄像 头 的 数据 精确 地 确认 自己 当前 的 位 置 ， 并 进行 实时 导 
Mio 


12.4.1 定位 


无 人 车 对 可 靠 性 和 安全 性 的 要 求 非常 高 ,所 以 这 里 默认 我 们 有 高 精度 LIDAR 和 多 种 
传感器 融合 建 好 了 地 图 在 这 个 前 提 下 ， 我们 谈 一 谈 无 人 车 的 跟踪 和 定位 技术 。P 


无 人 车 定位 主要 是 通过 粒子 滤波 进行 的 所谓 粒子 滤波 就 是 指 通过 寻找 一 组 在 状态 空 
间 中 传播 的 随机 样本 来 近似 地 表示 概率 密度 函数 , 用 样本 均值 代替 积分 运算 , 进而 获得 系 
统 状 态 的 最 小 方差 估计 的 过 程 ， 这 些 样 本 被 形象 的 称 为 “粒子 "， 故 而 叫 粒子 滤波 。 比 较 
常见 的 (比如 在 Sebastian Thrun 的 经 典 的 无 人 车 论文 里 ) 是 粒子 滤波 维护 一 个 姿态 向 量 
Cx, y, yaw ), 默认 roll/pitch 相对 足够 准 , 运动 的 预测 可 以 从 IMU 里 拿 到 加 速度 和 角速度。 
粒子 滤波 需要 注意 样本 贫 化 和 其 他 可 能 的 灾难 定位 错误 ( catastrophic error )， 一 小 部 分 粒 
子 可 以 持续 从 现在 GPS 的 位 置 估计 中 获得 。 对 样本 数量 的 自 适应 控制 也 需要 根据 实际 情 
况 有 效 调 整 。 


因为 已 经 有 了 高 精度 的 LIDAR 点 云 地 图 ， 所 以 很 自然 就 可 以 用 实时 的 LiDAR AZ 
数据 和 已 经 建 好 的 地 图 进行 匹配 。 而 3D 点 云 的 匹配 必然 要 说 到 Iterative Closest Point 
(ICP ),ICP 的 目标 是 给 出 两 组 点 云 的 情况 下 ,假设 场景 不 变 ,算出 这 两 组 点 云 之 间 的 pose。 
最 早 的 ICP 的 道理 简单 说 就 是 第 一 组 点 云 的 每 一 个 点 在 第 二 组 点 云 里 找到 一 个 最 近 的 匹 
配 ， 之 后 通过 所 有 的 匹配 计算 均 方 误差 (MSE), 进而 调整 估计 的 pose， 这 样 进行 多 次 迭 
代 最 终 算 成 两 组 点 云 的 相对 pose。 所 以 预先 有 了 地 图 的 情况 下 用 实时 的 点 云 加 上 一 个 大 
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概 的 pose 猜测 就 可 以 精准 地 算出 无 人 车 当前 的 pose， 而 且 时 间 上 相 邻 的 两 帧 点 云 也 可 以 
算出 一 个 相对 的 pose。 


男 一 方面 , 因为 无 人 车 是 个 复杂 的 多 系统 融合 ,所 以 当前 的 标 配 LiDAR, camera, IMU 
( 六 轴 陀 螺 仪 尘 ? 必 须 拥 有 。 当 你 拥有 了 camera 和 IMU 之 后 ,做 各 种 VO ( Visual Odometry ) 
和 最 近 的 VIO (Visual Inertial Odometry ) SLAM 就 是 很 自然 的 选择 。 前 面 提 到 的 粒子 
滤波 , 还 有 各 种 版 本 的 卡尔 曼 滤 波 , 加 上 graph 和 关键 帧 的 概念 , 都 属于 SLAM 的 范畴 。 
作者 曾 详 细 介 绍 了 SLAM 的 各 种 应 用 探讨 和 相对 应 的 工程 细节 ( http://geek.csdn.net/ 
news/detail/86807 ), 在 此 不 再 一 一 讨论 , 但 值得 注意 的 是 ， 多 传感器 多 信息 源 的 融合 只 要 
算法 正确 并 工程 实现 扎实 ,效果 一 定 会 比 单一 传感器 好 。 举 两 个 具体 的 例子 : ICP 虽然 后 
来 有 了 很 多 改进 (比如 point-to-distance 的 测量 改进 ， 比 如 用 kd-tree 加 速 查找 的 改进 )， 
但 ICP 需要 很 好 的 初始 化 pose, ICP 很 容易 掉 入 局 部 最 优 而 搞 不 定 全 局 最 优 , 这 时 非常 需 
要 图 像 视 觉 的 补充 。 图 像 的 特征 点 提取 特征 描述 的 计算 可 以 让 匹配 更 精准 ， 速 度 也 不 慢 ， 
但 如 果 距 离 太 远 精准 度 会 下 降 , 而 且 有 很 多 实际 的 可 以 让 图 像 视 觉 搞 不 定 的 情况 (比如 无 
人 车 或 者 别 的 物体 的 阴影 ， 比 如 光照 的 变化 ，illumination-invariant 的 特征 非常 难 )， 所 以 
作者 认为 多 传感器 多 信息 源 的 融合 不 是 “让 它 变 好 ”， 而 是 “ 没 你 不 行 "。 更 明显 的 就 是 
GPS 在 户外 已 经 很 可 靠 了 ， 没 有 理由 不 用 GPS 先 告诉 无 人 车 的 大 概 位 置 。 


124.2 ”导航 与 控制 


跟踪 和 定位 技术 还 是 被 动 的 感知 方案 ,而 真正 意义 的 无 人 车 也 就 是 全 自主 驾驶 而 不 是 
辅助 驾驶 是 需要 无 人 车 自己 智能 地 做 路 径 规划 的 ,我 们 简要 地 从 技术 层面 痰 一 谈 无 人 车 的 
路 径 规划 。 


路 径 规 划 其 实 是 一 个 范畴 很 大 的 话题 ,这 里 需要 先 做 几 个 限定 :第 一 个 就 是 地 图 已 知 ， 
如 果 地 图 未 知 没有 “规划 ”可 言 , 机 器 人 或 无 人 车 如 果 完全 对 世界 未 知 ， 那么 问题 实际 是 
“SLAM+ 探 索 ”; 第 二 个 是 对 无 人 车 的 领域 来 说 , 一般 还 是 2D 或 2.5D 的 地 图 ， 而 不 是 在 
3D 地 图 上 六 个 自由 度 运动 规划 ( 那 是 室内 全 自主 无 人 机 飞行 ), 第 三 个 就 是 路 径 规划 默认 
的 是 无 人 车 按照 规划 的 路 径 每 一 步 执行 后 的 pose 我 们 是 默认 准确 的 ， 也 就 是 说 ， 我 们 这 
里 刻意 地 把 定位 和 路 径 规 划分 开 , 但 实际 工程 中 这 两 者 是 紧密 联系 的 , 因为 如 果 定 位 不 准 


那么 路 径 规 划一 定 会 受 影响 。 


即使 有 了 这 几 个 设 定之 后 , 路径 规划 本 身 是 有 很 多 教科 书 版 本 的 ,而 且 种 类 繁多 。 这 
里 简单 谈 两 类 中 的 比较 有 代表 性 又 被 广泛 应 用 的 两 种 。 第 一 种 是 明确 地 寻找 最 好 路 径 的 搜 
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索 A* 算 法 ， 这 种 算法 的 核心 理念 是 如 果 有 最 好 的 路 径 我 要 找到 一 条 最 好 的 路 径 。 如 果 单 
位 路 径 的 成 本 (cost) 不 一 样 的 话 ， 最 好 的 路 径 不 一 定 是 最 短 的 路 径 。 如 果 有 最 好 的 ， 一 
定 要 找到 最 好 的 路 径 。A* 是 搜索 了 所 有 的 可 能 路 径 后 选择 了 最 好 的 ， 而 且 运 用 了 启发 式 
算法 决定 最 佳 路 径 。A# 的 数据 结构 实现 是 priority queue， 不 停 地 在 选取 “最 小 成 本 ”的 
节点 扩建 路 径 。 


另 一 类 路 径 规划 是 基于 抽样 ( sampling based ) 的 路 径 规划 。 简 单 地 说 ， 从 起 点 开始 ， 

不 知道 最 优 路 径 是 什么 , 所 以 从 起 点 开始 随机 抽样 ( 怎么 随机 也 有 讲究 ) 来 扩建 可 能 路 径 
集 , 但 一 个 很 重要 的 因素 可 以 加 速 抽样 ， 就 是 障碍 物 的 检测 ， 这 个 理解 起 来 很 直观 ， 如 果 
有 障碍 物 ， 那 么 在 障碍 物 方向 再 扩建 路 径 没 有 意义 。 比 较 典 型 的 算法 是 RRT 
( Rapidly-exploring random tree )， 但 需要 注意 的 是 这 种 算法 侧重 的 是 要 有 效率 地 让 树 往 大 
面积 没有 搜索 过 的 区 域 增长 ,那么 实际 运用 中 尤其 是 在 如 果 有 了 一 些 启发 式 算法 的 情况 下 ， 
特别 是 在 无 人 车 的 应 用 中 ,实时 的 路 径 规划 是 很 注重 效率 的 ,所 以 要 根据 实际 情况 做 优化 ， 
这 在 研究 上 也 有 RRT 的 变种 或 两 类 算法 的 结合 ， 比 如 A*-RRT。 路 径 规划 在 无 人 车 的 工 
程 实现 一 定 是 根据 传感器 的 情况 和 地 图 质量 来 做 实际 算法 的 选择 和 调整 ,比如 地 图 到 底 有 
多 准 , 实时 的 各 个 传感器 的 数据 质量 如 何 , 在 第 一 位 永远 是 安全 性 的 前 提 下 , 更 注重 效率 
还 是 更 注重 绝对 的 优化 等 。 





12.5 “高 精度 地 图 的 现状 与 结论 


传统 电子 地 图 主要 服务 人 类 驾驶 员 , 而 高 精度 电子 地 图 主要 服务 无 人 驾驶 系统 。 高 精 
度 电 子 地 图 的 信息 量 与 质量 直接 决定 了 无 人 驾驶 系统 的 安全 性 、 可 靠 性 , 以 及 效率 。 与 传 
统 电 子 地 图 不 同 ， 高 精 地 图 更 精准 ( 厘米 级 )，GPS 的 准确 度 只 有 5-10 米 ( 约 16-32 w 
St); 高 精 地 图 更 新 更 快 , 并 且 包 含 了 更 多 的 信息 ( 语义 信息 ), 由 于 高 精 地 图 的 这 些 特性 ， 
制作 高 精 地 图 并 不 容易 , 需要 使 用 多 种 传感器 互相 纠正 。 在 初始 地 图 制作 好 后 , 还 需要 对 
地 图 进行 过 滤 以 降低 数据 量 去 达到 更 好 的 实时 性 。 在 拥有 了 这 些 高 精度 的 地 图 信息 后 , 无 
人 驾驶 系统 就 可 以 通过 比 对 车 载 的 GPS, IMU, LIDAR 或 摄像 头 的 数据 精确 地 确认 自己 
当前 的 位 置 , 并 且 进 行 实时 导航 。 因 为 建设 和 其 他 变动 ,高速 公路 地 图 需要 定期 更 新 , 无 
人 车 的 地 图 也 需要 不 断 更 新 ， 以 便 掌握 路 况 变 化 。 


堆 止 目前 为 止 ， 日 本 最 大 的 地 图 测绘 公司 Zenrin 已 宣布 与 NVIDIA 合作 ， 研 究 如 何 
简化 利用 人 工 智 能 绘制 地 图 的 流程 。 同 时 ， 在 高 精 地 图 提供 商 HERE 新 发 展 的 合作 关系 
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rH, NVIDIA 在 云 中 使 用 MapWorks， 在 车 内 使 用 DriveWorks， 这 两 套 地 图 开发 工具 的 云 
端 与 地 面相 配合 ， 再 加 上 NVIDIA 为 整个 架构 提供 的 AI 引擎 ， 这 样 能 够 实现 绘制 和 更 新 
高 清 实时 地 图 的 目的 。 当 然 ， 除 此 之 外 , NVIDIA 已 经 和 TomTom、 百 度 建立 了 合作 伙伴 
关系 。 在 百度 世界 大 会 和 GTC 开发 者 技术 大 会 (中 国 ) E., NVIDIA 表示 今后 会 联合 百 
度 开发 从 云 到 车 的 端 对 端的 无 人 驾驶 平台 架构 ,其 中 就 包括 会 和 百度 在 高 精度 地 图 绘制 上 
做 进一步 优化 提升 。 此 前 , 百度 使 用 约 250 辆 测绘 车 收集 道路 信息 用 以 制作 准确 度 在 5~10 
米 的 传统 导航 地 图 及 高 精度 地 图 , 其 在 中 国 绘制 的 高 精度 地 图 已 经 达到 了 厘米 级 精度 , 包 
含 交通 信号 灯 、 车 道 标记 ( 如 白 线 、 黄 线 、 双 车 道 或 单车 道 、 实 线 、 虚 线 )、 路 缘 石 、 障 
碍 物 、 电 线 杆 、 立 交 桥 、 地 下 通道 等 详细 信息 ， 导 航 系统 可 以 实现 95% 以 上 的 路 标 和 车 
道 标 记 准 确 度 。 
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无 人 驾驶 的 未 来 


我 们 可 以 预测 一 个 不 远 的 未 来 , 届时 所 有 行驶 的 汽车 都 是 无 人 车 , 我 们 将 迎 来 一 个 更 
加 安全 、 更 加 清洁 环保 的 世界 。 得 益 于 无 人 驾驶 技术 , 未 来 我 们 的 交通 工具 、 行 驶 的 道路 ， 
甚至 是 未 来 的 世界 都 将 变 得 更 安全 、 更 高 效 , 极 大 地 降低 对 石油 燃料 的 消耗 , 减轻 对 环境 
的 污染 。 本 章 , 我 们 先 从 无 人 驾驶 的 商业 前 景 、 无 人 驾驶 面临 的 发 展 障碍 、 无 人 车 行业 发 
展 、 全 球 化 下 的 无 人 萄 驶 四 个 方面 出 发 , 分 析 示 来 无 人 驾驶 的 发 展 和 即将 面临 的 问题 。 最 
后 ,将 给 出 无 人 驾驶 发 展 的 时 间 线 ， 揭 示 在 即将 到 来 的 未 来 二 十 年 内 无 人 驾驶 的 走势 。 


13.1 无 人 驾驶 的 商业 前 景 


无 人 驾驶 带 来 的 商业 潜力 有 多 大 ?从 本 质 上 讲 ， 无 人 驾驶 和 互联 网 的 共同 之 处 在 于 : 
它们 都 通过 去 人 力 化 , 降低 了 传输 成 本 。 互联 网 降低 的 是 信息 的 传输 成 本 , 而 无 人 驾驶 则 
降低 有 形 的 物 和 人 的 运输 成 本 。 对 比 互联 网 已 经 产生 的 商业 影响 力 , 就 可 以 想象 无 人 轰 驶 
的 商业 潜力 。 随 着 谷歌 、Uber 和 特 斯 拉 这 样 的 公司 用 事实 不 断 展示 技术 上 的 进步 ， 传 统 
车 三 已 经 越 来 越 清晰 地 意识 到 , 无 人 驾驶 技术 即将 为 汽车 商业 模式 带 来 颠覆 式 的 改变 , 这 
可 能 是 自 内 燃 机 发 明 以 来 ， 汽 车 行业 最 重大 的 变化 。 


13.1.1 新 的 运输 模式 : TaaS 2.0 
基于 无 人 轰 驶 的 发 展 ，TaaS 2.0 运输 即 服务 ，Transportation as a Service ) 正在 成 为 
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业界 探讨 的 热点 ， 这 里 将 TaaS1.0 定义 为 有 人 驾驶 ， 而 无 人 驾驶 则 是 Taas 2.0 时 代 。 中 摩 
根 士 丹 利 公司 在 最 近 的 一 份 报告 中 表示 ， 实 现 汽 车 完全 无 人 驾驶 将 极 大 地 降低 拼车 成 本 ， 
每 辆 车 从 目前 的 1.50 美元 一 英里 降 至 20 美 分 一 英里 。 借助 无 人 驾驶 , 一 箱 德国 啤酒 从 工 
厂 出 三 到 中 国 的 超市 , 在 运输 过 程 中 可 以 不 需要 任何 人 工 干预 , 全 程 自动 化 运输 , 中 间 会 
经 过 轮船 运输 、 海 关 通 关 、 高 速 公路 运输 和 抵达 城市 等 多 个 环节 , 其 中 的 任务 调度 都 可 以 
在 云端 完成 , 这 提供 了 端 到 端的 运输 解决 方案 。 同样 借助 无 人 驾驶 ,从 首都 机 场 到 上 海 的 
淮海 路 可 以 提前 预约 服务 , 中 间 也 许 会 经 过 几 次 拼车 , 以 实现 运算 效率 最 大 化 , 就 像 手 机 
基站 切换 那样 , 全 程 依然 是 无 颖 连接 的 。 这 一 运输 模式 的 变化 对 于 传统 车 厂 的 影响 是 巨大 
的 , 一 旦 汽车 从 私人 拥有 变 为 共享 运输 工具 ，, 传统 车 厂 的 目标 客户 就 将 由 个 人 消费 者 转变 
为 TaaS 运营 商 ， 正 如 华为 和 中 国 移动 的 关系 一 样 。 随 之 而 来 的 是 汽车 的 设计 、 销 售 都 将 
发 生根 本 性 的 改变 是 汽车 厂商 很 难 维持 原来 的 强势 地 位 。 


13.1.2 无 人 驾驶 的 商业 发 展 方向 


因为 安装 了 摄像 头 、 雷 达 、 激 光 雷 达 和 人 工 智能 系统 , 无 人 车 的 最 初 成 本 会 很 高 , 普 
通 消费 者 难以 接受 。 无 人 车 可 能 会 先进 入 特殊 群体 , 比如 企业 和 某 些 特殊 行业 将 是 早期 消 
费 群 体 。 最 有 可 能 采纳 无 人 车 的 行业 包括 约 车 、 巴 士 、 出 租车 、 快 递 车 辆 、 工 业 应 用 ， 以 
及 为 出 行 的 老年 人 和 残疾 人 士 提供 服务 的 行业 。 


1. 公共 交通 


无 人 车 将 成 为 公共 交通 系统 的 重要 选择 。 百 度 计划 几 年 后 商业 推广 无 人 驾驶 汽 E, 
将 首先 在 中 国 城市 试 运行 。 中 百度 目前 已 经 获得 几 个 地 方 监管 部 门 的 批准 ,在 事先 确定 的 
路 线 进行 试验 , 希望 在 不 远 的 将 来 推出 这 类 车 辆 。 一 些 城市 还 在 考虑 将 某 些 街区 划 定 为 无 
人 驾驶 专区 。 在 30 或 40 个 街区 将 不 再 出 现 人 驾 汽 车 和 无 人 车 同时 存在 的 现象 , 无 人 驾驶 
出 租车 和 共享 出 行车 辆 将 提供 全 部 交通 服务 。 城 市 规划 部 门将 进行 区 域 优 化 , 为 无 人 车 服 
务 。 


一 项 来 自 德 克 萨 斯 大 学 奥斯汀 分 校 的 关于 分 享 无 人 车 ( SAV ) 的 研究 表明 ,“ 每 辆 SAV 
可 以 取代 约 11 辆 常规 汽车 , 运营 里 程 可 以 增加 10% 以 上 ”。 外 这 意味 着 , 基于 车 辆 分 享 的 
约 车 或 出 租车 将 缓解 拥堵 ,大 幅 减 少 交 通 拥堵 和 环境 恶化 , 因 其 方便 性 将 广 受 消费 者 欢迎 。 

2. 快递 用 车 和 工业 应 用 

快递 用 车 和 “列队 ”卡车 将 是 另 一 个 可 能 较 快 采用 无 人 车 的 领域 。" 在 线 购物 和 电子 
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商务 网 站 快速 兴起 , 给 快递 公司 带 来 利好 。 人 们 喜欢 在 网 上 订购 物品 ( 如 食品 、 货 物 和 服 
务 )， 几 小 时 就 能 送 货 上 门 。 中 国电 商 2015 年 销售 总 额 达到 5900 亿美 元 ， 很 多 产品 承诺 
同日 送 达 。 这 促进 了 电动 车 和 卡车 快递 。2015 年 ， 中 国电 商 规模 比 2014 EHK 33%, © 
卡车 占 美国 机 动车 行驶 里 程 的 5.6%， 但 是 却 占 交通 死亡 事故 的 9.5%。 中 因此 ， 在 经 济 效 
益 和 避免 人 员 伤 亡 方 面 ， 无 人 车 可 以 创造 不 少 增加 值 。 大 型 卡车 成 本 通常 超过 150000 美 
元 ,安装 摄像 头 和 感应 器 成 本 效益 比较 高 ,因为 相 比 之 下 ,小 轿车 的 自身 成 本 原本 就 很 低 ， 
在 无 人 驾驶 初期 因为 成 本 的 限制 难以 实现 大 规模 推广 中 。 


3. 老年 人 和 残疾 人 


在 老年 人 和 残疾 人 这 两 个 消费 群体 中 , 无 人 车 已 经 开始 大 规模 应 用 。 由 于 身体 条 件 的 
限制 和 视力 原因 , 这 两 类 人 都 面临 出 行 困难 , 因此 智能 车 辆 能 给 他 们 带 来 不 少 好 处 。 美 国 
老龄 人 口 到 2050 年 预计 超过 8000 万 ， 占 总 人 口 的 20%。 届 时 ， 老 龄 人 口 将 是 目前 的 两 
倍 ， 他 们 中 有 三 分 之 一 将 面临 出 行 困难 。 鲁 中 国 也 面临 同样 的 情况 。 到 2050 年 ， 中 国 老 
龄 人 口 预计 将 占 总 人 口 的 33%。 外 而 在 日 本 , 到 2060 4E, 65 岁 及 以 上 人 和 群 将 占 总 人 口 约 
40%, U 残疾 人 的 市 场 也 很 庞大 。 例 如 ,在 美国 ， 约 5300 万 成 年 人 有 残疾 ， 占 成 年 人 人 
口 的 22% 左 右 。 约 13% 的 美国 成 年 人 有 出 行 障碍 , 约 4.6% 的 成 年 人 有 视力 障碍 。[ 这 些 
有 关 老 年 人 和 残疾 人 士 的 庞大 数据 为 无 人 车 提供 了 现成 的 市 场 。 这 两 类 群体 都 重视 独立 ， 
无 人 车 可 以 让 他 们 自由 出 行 , 无 须 依靠 朋友 、 家 人 。 因 此 , 老年 人 和 残疾 人 对 无 人 车 的 问 
世 持 积极 态度 。 





13.2 无 人 车 面临 的 障碍 


无 人 车 面临 的 障碍 在 技术 层面 包括 恶劣 天 气 ,\ 行 车 安全 、 隐 私 保护 基础 设施 不 完善 、 
频谱 分 配 不 足 等 ; 在 社会 层面 包括 事故 追 责 、 行 车 立法 等 。 其 中 有 些 挑战 是 需要 通过 制度 
和 社会 行动 才能 逾越 的 障碍 ,这 些 领 域 都 给 无 人 车 及 其 市 场 成 功 从 技术 层面 带 来 了 非常 大 
的 挑战 。 


13.2.1 ERS 


在 恶劣 天 气 里 , 无 人 车 无 法 良好 运行 。 AW, KERMAN SU AE hs 
记 ， 因 此 增加 事故 风险 。 在 这 种 情况 下 ,无 人 车 无 法 做 出 准确 判断 。Lyft 公司 认为 , 无 人 
车 “在 某 些 天 气 条 件 下 或 路 况 不 佳 时 表现 得 不 好 。"”” 另外 , 杜 克 大 学 的 Mary Cummings 
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教授 特别 强调 恶劣 天 气 对 无 人 车 的 影响 。“ 降 水 、 盘 和 沙 圭 影响 光 雷 达 感 应 器 、 分 散 或 阻 
挡 激 光束 , 干扰 摄像 头 捕捉 图 像 的 能 力 。 因 此 , 车 辆 无 法 感知 与 其 他 汽车 的 距离 , 或 者 分 
沸 停 车 标示 、 交 通 灯 和 行人 。"” 


13.2.2 行车 安全 


安全 是 无 人 车 行业 的 重要 考虑 因素 。 目 前 已 经 有 车 辆 被 黑客 攻击 、 系 统 被 破坏 的 报道 。 
无 人 车 依靠 V2V 的 交流 ， 以 及 V2I 的 连接 。 维 护 这 些 通道 及 电子 邮件 、 电 话 、 和 短信、 上 
网 和 定位 数据 等 乘客 个 人 电子 通信 的 安全 至 关 重要 。 联 网 车 辆 面临 的 威胁 包括 黑客 攻击 、 
人 为 干扰 、 幽灵 车 或 者 其 他 恶意 行为 ,如 使 用 亮 灯 导 致 摄像 头 无 法 捕捉 图 像 、 雷 达 王 扰 或 
操控 感应 器 等 。 上 述 每 种 行为 都 能 扰乱 通信 ， 造 成 人 工 智 能 运算 出 错 。 他 们 的 研究 将 
“GNSS ( 全 球 卫星 导航 系统 ) 欺 骗 和 虚假 信息 列 为 最 危险 ( 即 最 可 能 或 最 严重 ) 的 攻击 。 
操控 这 类 信息 给 乘客 带 来 风险 ， 而 且 可 能 引发 严重 事故 。 网 络 安全 专家 已 经 证 实 能 够 
远程 攻击 吉普 大 切诺基 。《 连 线 》 杂 志 上 刊登 的 一 篇 报道 称 ， 他 们 能 够 破坏 车 辆 的 转向 、 
刹车 、 无 线 电 、 雨 刷 和 车 内 环境 控制 系统 ， 并 且 证 实 通过 Uconnect 软件 能 够 很 容易 破坏 
车 辆 。 这 一 例子 说 明 ， 设 计 者 需要 高 度 重视 车 辆 安全 ， 避 免 不 必 要 的 风险 。 


13.2.3 ”隐私 保护 


无 人 蜀 驶 隐私 保护 与 安全 不 同 , 安全 关注 的 是 企图 伤害 司机 和 乘客 的 恶意 行为 , 隐私 
则 更 关注 数据 的 保护 。 无 人 驾驶 过 程 中 将 收集 大 量 关于 人 们 位 置 、GPS 定位 数据 、 网 上 
购物 C 包括 信用 卡号 码 ) 和 其 他 在 联网 汽车 上 进行 的 活动 信息 , 这 些 数据 将 创造 新 的 商业 
模式 。 通过 联网 车 辆 , 保险 公司 可 以 看 到 司机 实际 驾车 的 情况 , 实时 风险 和 对 情况 的 实时 
反应 , 并 以 此 计算 保费 。 汽 车 制造 商 和 无 人 车 服务 企业 的 隐私 政策 一 方面 允许 披露 行车 信 
息 ， 用 以 “解决 问题 、 评 估 使 用 和 研究 ”。 另 一 方面 ， 一 旦 这 些 信息 被 非法 转卖 ， 匿 名 第 
三 方 极 有 可 能 将 其 用 于 营销 甚至 违法 诈骗 ， 损 害 消费 者 的 利益 。 


因此 , 为 了 保护 无 人 驾驶 的 隐私 , 缓解 对 无 人 车 数据 收集 的 担忧, 首先 应 该 提高 网 络 
安全 标准 ,保证 所 有 制造 商 能 采取 有 效 保护 措施 ,尤其 要 提高 无 线 网 络 下 的 数据 加 密 保护 。 
另 一 方面 ,需要 提高 设计 安全 性 以 减少 攻击 点 、 增 加 第 三 方 测试 、 加 强 内 部 监督 系统 、 设 
计 分 离 架 构 以 限制 任何 成 功 入 侵 成 的 损害 ,以 及 不 断 更 新 升级 安全 软件 以 加 强 隐私 保护 的 
实时 性 。 
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13.2.4 基础 设施 不 完善 


基础 设施 不 完善 的 问题 在 限制 现 有 交通 发 展 的 同时 ,也 扼 制 了 无 人 驾驶 的 萌芽 和 起 步 。 

例如 ,在 印度 , 高 速 公路 和 普通 公路 是 主要 挑战 。 印 度 的 道路 有 36% 是 土路 , 而 在 中 国 ， 
这 一 数字 为 16% 左 右 。 因 此 ， 在 世界 经 济 论坛 的 基础 设施 排行 榜 中 ， 印 度 排 第 87 位 ， 远 
低 于 日 本 的 第 6 位 ,德国 的 第 7 位 ， 中 国 的 等 46 位 ,泰国 的 等 48 位 和 巴西 的 等 76 fiz. 
高 速 公路 状况 不 佳 给 自动 驾驶 汽车 带 来 挑战 车辆 行驶 需要 可 预测 的 路 面 和 标示 清晰 的 车 
道 。 在 一 次 跨越 国内 多 地 的 试 驾 过 程 中 , Delphi 公司 的 工程 师 发 现 各 地 车 道 标示 有 很 大 差 
A, Glen De Vos 称 ,“ 自 动 芍 驶 车 遇 到 有 些 路 面 标 有 宽 的 白条 ， 有 的 则 是 窄 的 黄 线 。 有 些 
标示 是 新 的 ， 而 有 的 模糊 不 清 ， 有 些 道路 还 凹凸 不 平 "。" 9 由 于 这 些 道路 标示 不 到 位 或 工 
程 质量 不 佳 , 半自动 驾驶 汽车 或 全 自动 驾驶 汽车 都 无 法 顺利 行驶 。 事 故 风 险 随 之 上 升 , 电 
脑 运算 也 很 有 可 能 做 出 错误 判断 。 如 果 不 加 以 解决 ， 这 将 限制 自动 驾驶 汽车 的 发 展 。"” 
桥梁 也 是 自动 芍 驶 汽车 面临 的 特殊 问题 。 桥梁“ 提供 的 环境 信息 很 少 一 一 如 上 面 没有 建筑 
物 一 一 因此 车 辆 很 难 分 辨 确切 位 置 "。[ 


13.2.5 ”频谱 不 足 


频谱 不 足 也 是 无 人 驾驶 推广 的 主要 障碍 。 确 定 专 用 的 频率 范围 是 支持 无 人 车 发 展 的 关 
键 。 有 了 具体 的 频段 , 无 人 车 才能 在 任何 天 气 或 交通 状况 下 行使 。 由 于 需要 平衡 联网 速度 
和 无 线 连接 的 可 靠 性 , 无 人 车 和 工业 应 用 需要 6GHz 以 下 中 等 范围 频谱 ， 而 这 种 频率 的 需 
KEK, 很 难 确保 无 人 车 所 需 的 可 靠 服 务 。 电 话 断 线 让 人 厌烦 , 而 如 果 无 人 车 掉 线 则 可 能 
出 人 命 。 美 国 的 车 企 大 都 支持 专用 短程 通信 ( DSRC ) 系统 。DSRC 是 双向 、 中 短 距离 无 
线 通 信 协 议 ， 车 辆 之 间 可 以 相互 沟通 ， 发 现 和 避 开 危险 。 装 有 DSRC 的 车 辆 在 几 百 米 的 
距离 内 每 秒 钟 会 多 次 播送 准确 信息 ， 如 位 置 、 速 度 和 加 速 情况 。 其 他 装 有 DSRC 的 车 辆 
收 到 信息 后 会 根据 信息 计算 相 邻 车 辆 的 运行 轨迹 , 与 自己 的 预计 路 径 进行 比较 , 再 判断 邻 
车 是 否 有 磁 撞 的 威胁 "。09 联邦 通信 委员 会 于 1999 年 规定 5.9GHz 波段 的 75MHz 频谱 为 
DSRC A, 为 防 碰撞 技术 的 测试 和 应 用 打下 了 基础 。 但 是 , 业界 领袖 希望 给 这 一 技术 和 
联网 汽车 的 其 他 功能 留 有 足够 的 频谱 。 因 为 预计 无 人 车 将 大 量 上 市 , 应 该 为 行业 发 展 保留 
可 用 的 频谱 。 


13.2.6 5G 通信 尚未 成 熟 


要 实现 无 人 驾驶 的 终极 目标 , 不 可 避免 地 要 解决 网 络 延迟 问题 。 当 前 的 4G 技术 存在 
一 定 的 信息 延迟 问题 , 信息 延迟 对 无 人 车 而 言 十 分 危险 , 也 许 一 个 刹车 信号 晚 发 出 半 秒 就 
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可 能 造成 一 次 严重 的 事故 。 随 着 SG 技术 的 发 展 , 信号 延迟 问题 有 望 得 到 解决 。 这 是 因为 ， 
一 方面 SG 技术 能 根据 数据 的 优先 级 分 配 网 络 , 从 而 保证 无 人 车 的 控制 信号 传输 保持 较 快 
的 响应 速度 ; 男 一 方面 , 两 车 在 行驶 过 程 中 , 近 距 离 直 接 数 据 连接 的 效率 远 高 于 绕道 基站 
进行 通信 的 效率 。5G 技术 将 允许 近 距 离 设备 直接 通信 ， 这 样 ， 可 大 大 降低 网 络 整体 压力 
并 降低 平均 延迟 。 只 有 解决 了 网 络 延迟 问题 , 无 人 车 技术 难题 才能 得 到 进一步 解决 , 未 来 
的 智能 网 联 汽 车 才 有 机 会 完美 实现 车 与 人 、 和 车 与 车 等 范畴 的 智能 信息 交流 共享 。 


因此 ，5G 网 络 被 视 为 未 来 物 联网 、 车 联网 等 万 物 互联 的 基础 。LTE-V 与 DSRC 是 当 
前 车 联网 的 两 大 技术 阵营 ， 前 者 主要 由 中 国企 业 推 动 ， 后 者 的 发 展 比 LTE-V 成 熟 ， 是 欧 
美 等 国 车 联网 的 主流 技术 。DSRC 即 专用 短程 通信 技术 , 是 基于 IEEE 802.11p 标准 开发 的 
一 种 高 效 的 无 线 通信 技术 ， 可 提供 高 速 的 数据 传输 ， 并 保证 通信 链 路 的 低 延 时 和 低 干 扰 ， 
可 实现 小 范围 内 图 像 、 语 音 和 数据 的 实时 、 准 确 和 可 靠 的 双向 传输 。 较 之 DSRC，LTE-V 
的 传输 距离 更 远 ， 信 道 更 宽 ， 同步 性 也 更 好 。LTE-V 包括 集中 式 LTE-V-Cell 和 分 布 式 
LTE-V-Direct 两 个 工作 模式 。 其 中 ，LTE-V-Direct 模式 可 将 车 辆 感知 范围 扩展 到 数 百 米 的 
探测 距离 , 与 当前 的 车 辆 感知 系统 如 雷达 、 光 学 摄像 头 的 探测 范围 相 比 具有 很 大 优势 。 由 
于 通信 技术 的 限制 ， 当 前 的 LTE-V 版 本 属于 4.5G 技术 ， 随 着 5G 技术 进一步 发 展 ， 未 来 
LTE-V 将 平稳 演进 到 SG. 


13.2.7 事故 追 责 


要 实现 全 面 发 展 ,自动 敬 驶 汽车 行业 必须 解决 法 律 责任 的 问题 。 目 前, 保险 公司 根据 
司机 年 龄 、 性 别 、 经 验 等 进行 详细 的 风险 评估 。 由 于 多 数 事故 都 是 人 为 造成 的 , 保险 公司 
根据 超速 、 酒 加、 忽视 道路 标示 或 撞车 等 因素 , 确认 事故 的 责任 方 。 一 旦 自动 或 半自动 驾 
驶 发 生 行车 事故 , 事故 是 谁 的 错 ? 司机 、 控制 自动 装置 的 软件 程序 员 还 是 制造 硬件 的 汽车 
制造 商 ? 兰 德 公司 的 研究 建议 为 无 人 车 设置 无 过 错 保 险 ,原因 是 无 人 车 不 容易 受到 人 为 失 
RK. UU 因此， 无 人 车 将 更 多 责任 从 司机 转移 到 制造 商 和 软件 设计 者 身上 ， 彻 底 改变 
了 行车 事故 的 法 律 责任 ， 完 全 颠覆 建立 在 此 基础 上 的 法 律 体系 和 保险 规则 。 


并 且 , 无 人 车 真正 投向 市 场 需要 一 个 过 程 ， 人 为 驾驶 汽车 停止 使 用 还 需要 很 多 年 。 以 
美国 为 例 ， 美 国有 2.62 亿 辆 汽车 ， 平 均 寿命 是 11.5 年 。™" 因此 会 出 现 10 年 甚至 更 长 时 
间 的 新 老 汽车 混合 的 复杂 局 面 ， 造 成 事故 的 追 责 更 困难 且 复 杂 。 在 中 国 ， 道 路 上 有 行人 、 
上 自行车、 低速 车 和 高 速 车 , 全 都 混在 一 起 , 环境 十 分 复杂 。 很 多 人 都 不 按照 一 个 标准 骑 车 
或 开车 。 乌 因此， 在 中 国 完成 无 人 驾驶 的 事故 鉴定 要 面临 的 情况 更 艰难 。 由 此 可 见 要 实 
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现 全 面 发 展 , 自动 驾驶 汽车 行业 必须 在 清除 技术 障碍 的 同时 , 开始 着 手 解 决 法 律 责 任 的 问 
题 。 


13.2.8 行车 立法 


目前 , 公众 对 无 人 车 的 接受 程度 还 处 于 中 间 状 态 。 归 根 到 底 , 公众 必须 要 能 接受 ( 半 ) 
自动 驾驶 汽车 , 市 场 才 能 发 展 。 和 任何 新 兴 技 术 一 样 , 让 消费 者 接受 新 模式 和 不 同 的 行车 
方式 , 还 需要 时 间 , 在 此 期 间 , 对待 向 无 人 车 的 过 渡 也 会 有 不 同 的 看 法 。 密 软 根 大 学 的 美 
国 公众 调查 显示 ， 很 多 人 仍然 选择 传统 开车 方式 ，46% 的 美国 人 称 不 喜欢 自动 驾驶 车 ， 
39% 的 受众 喜欢 部 分 自动 驾驶 (半自动 驾驶 )，16% 的 人 支持 驾驶 全 自动 无 人 车 中 。 当 被 
问 到 具体 装置 时 ，95% 的 人 希望 即使 是 全 自动 驾驶 车 也 要 有 方向 盘 、 油 门 和 刹车 板 。37% 
的 人 对 乘坐 全 无 人 车 表示 十 分 担心 ，29% 的 人 称 中 度 担忧 ，24% 的 人 轻 度 忧虑 ，10% 的 受 
众 毫 无 担心 。 


新 技术 出 现 的 一 个 问题 是 通过 测试 其 极限 和 努力 , 破坏 其 运行 。 如 果 高 速 行驶 的 大 型 
设备 遇 到 这 种 情况 , 后 果 会 非常 严重 。 无 人 车 面临 的 危险 多 种 多 样 , 其 中 包括 将 激光 照 在 
汽车 摄像 头 上 破坏 导航 系统 , 攻击 电脑 代码 , 控制 刹车 和 转向 , 将 物体 置 于 车 前 改变 其 运 
动 , 或 发 射电 子 信号 改变 其 路 线 等 。 政 策 制定 者 应 考虑 制定 法 律 , 将 针对 无 人 车 的 恶意 行 
为 定罪 ， 通 过 对 恶意 行动 立法 ， 惩 罚 破坏 无 人 车 的 行为 。 


13.3 无 人 驾驶 产业 


13.3.1 产业 现状 


自从 无 人 驾驶 进入 公众 视野 ,各 大 传统 汽车 三 商 和 高 科技 企业 相继 发 布 其 在 无 人 驾驶 
领域 的 研究 成 果 ， 也 相继 推出 了 各 自 的 〈 半 ) 自动 驾驶 原型 车 ， 如 图 13-1 所 示 。 某 些 尚 
未 动作 的 厂商 ， 也 展开 了 针对 无 人 驾驶 领域 的 大 幅 投 入 和 行业 合作 ， 不 得 不 说 ,现在 正 
是 无 人 鸭 驶 产业 和 勃 发 展 的 时 期 。 
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图 13-1 已 有 ( 半 ) 自动 驾驶 车 原型 ( 第 一 排 从 左 至 右 : 奥迪 A7. EB 328Li、 长 安 汽 车 、 谷 歌 无 人 车 ; 
第 二 排 从 左 至 右 : 百度 无 人 车 、Uber、 福 特 Fusion 无 人 车 ) 


1. Uber 


Uber 的 无 人 轰 驶 原型 车 采用 了 毫米 波 雷达 、 摄 像 头 、 激 光 雷 达 等 传感器 ， 并 辅助 以 
高 精度 地 图 。 作 为 2016 年 9 月 公布 的 匹兹堡 测试 计划 的 一 部 分 ，Uber 推出 了 利用 其 无 人 
驾驶 技术 改装 的 福特 Fusion 汽车 ， 为 了 保证 安全 ， 每 辆 Uber 无 人 驾驶 专车 上 配备 两 名 
Uber 工程 师 ， 一 人 坐 在 芍 驶 座 上 ， 随 时 准备 在 紧急 情况 下 控制 车 辆 ， 另 外 一 人 监控 汽车 
的 动态 。Uber 收购 了 自动 驾驶 卡车 创业 公司 Otto, Otto 的 自动 驾驶 卡车 10 月 份 行驶 120 
英里 (AYA 193 公里 ), 运送 了 5 DRR., Uber 和 沃尔沃 还 联合 投资 3 亿美 元 开发 自动 
SE. 

2. 谷歌 

谷歌 采取 了 不 同 于 其 他 厂商 的 策略 , 将 直接 推出 全 自动 无 人 车 , 而 非 逐 步 过 渡 的 半 自 
动 驾 驶 功能 。 谷 歌 无 人 车 所 使 用 的 传感器 包括 了 毫米 波 雷达 、 激 光 雷 达 、 摄 像 头 , 并且 大 
量 使 用 高 精度 地 图 。 谷 歌 表示 将 努力 在 2020 年 完成 无 人 驾驶 的 技术 开发 。 截 至 2016 年 
11 月 ， 谷 歌 的 60 辆 无 人 车 已 经 行驶 超过 200 万 英里 。P 该 公司 每 月 事故 报告 透明 数据 
显示 ，7 年 间 只 发 生 过 17 次 小 事故 ， 没 出 现 一 例 重伤 。 多 数 事故 的 原因 是 其 他 车 辆 的 行 
驶 难以 预测 ， 或 者 后 方 车 辆 追尾 后 。 为 了 保证 行车 安全 ， 谷 歌 开 发 了 备用 的 制 动 、 转 向 
和 计算 系统 ， 以 防备 主 系统 失灵 。 男 外 还 设计 了 软件 , 确保 谷歌 汽车 “在 其 他 司机 的 盲区 
之 外 "， 远 离 车 道上 的 摩托 车 ， 并 且 在 绿灯 亮 起 后 停顿 1.5 秒 ， 以 避 开 阁 红 灯 的 车 辆 和 行 
人 。 


现在 谷歌 无 人 芍 驶 项 日 已 经 拆 分 为 单独 的 子 公司 Waymo, Waymo 将 和 本 田 合 作 ， 双 
方 计划 在 2020 年 前 后 实现 高 速 公路 上 无 人 驾驶 的 实际 运用 。 
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3. 宝马 


宝马 以 高 精度 地 图 结合 激光 雷达 作为 无 人 驾驶 的 研究 方案 , 以 “激光 探测 器 十 双 目 摄 
像 头 ”作为 量 产 方案 。 在 上 海 车 展 上 ， 宝 马 自 动 驾 驶 汽车 配置 了 4 个 激光 雷达 ，4 个 短 距 
By 77G 毫米 波 雷 达 位 于 四 个 角 保 险 杠 ; 还 有 4 个 长 距离 77G， 前 面 2 个 后 前 面 2 +; 1 
个 双 目 CAM 在 前 ， 单 目前 4 后 1，4 个 Surrouding View CAM， 都 挨 着 短 距 77G 毫米 波 








宝马 在 2015 年 7 月 上 海 创新 日 上 曾 以 0~210km / h. 的 车 速 实现 了 车 速 车 道 跟踪 驾驶 
系统 、 全 自动 遥控 泊 车 、 防 碰撞 系统 的 演示 。 宝 马 与 百度 合作 ， 以 宝马 3 系 作为 平台 , K 
用 百度 自动 驾驶 技术 于 2015 年 底 实现 了 北京 混合 路 测 , 从 百度 大 厦 一 G7 一 五 环 路 一 奥 林 
匹克 森林 公园 往返 ,完成 了 途中 的 自动 并 线 、 超 车 、 掉 头 、 左 转 等 操作 。2016 4E, 宝马、 
Intel 和 MobilEye 将 合作 开发 高 度 自动 无 人 驾驶 和 全 自动 驾驶 的 解决 方案 和 创新 系统 , 预 
计 在 2021 年 量 产 无 人 驾驶 电动 车 iNext, 并 最 终 以 非 独 家 协议 的 方式 , 将 该 无 人 驾驶 系统 
提供 给 业界 ， 包 括 其 他 车 厂 。 








4. 奥迪 


奥迪 的 自动 驾驶 原型 车 传感器 包括 了 激光 雷达 、ACC 自 适 应 雷达 、 超 声 雷 达 、 
Mobileye 前 置 3D 摄像 头 、 前 置 红 外 摄像 头 ， 使 用 ZFAS ( TTTech*NVIDIA Tegra K1) fF 
为 中 央 驾 驶 辅助 控制 器 。 在 2016 年 2 月 的 柏林 电影 节 上 ， 奥 迪 已 经 实现 了 短 距 离 的 城市 
非 封 闭 道路 试验 性 的 自动 驾驶 。 奥 迪 计 划 2017 年 或 者 2018 年 量 产 可 达到 或 接近 达到 L3 
的 自动 驾驶 车 辆 。2021 年 推出 L4 无 人 驾驶 车 型 。 

5. 百度 

百度 无 人 车 所 使 用 的 传感器 包括 了 激光 雷达 、 毫 米 波 雷达 、 摄 像 头 、 红 外 、 惯 导 ， 以 
及 高 精度 地 图 。 百 度 在 2015 年 年 底 完成 了 城市 环 路 及 高 速 混合 路 况 的 全 自动 驾驶 。 在 2016 
年 7 月 , 在 乌镇 景区 推出 了 L4 级 别 的 无 人 驾驶 服务 。 百 度 已 经 获 批 在 加 利 福 尼 亚 州 测试 
其 无 人 车 ， 将 于 2021 年 开始 大 规模 生产 无 人 车 。 关 于 合作 方面 ， 百 度 与 福特 公司 1.5 亿 
美元 共同 投资 激光 雷达 公司 Velodyne LiDAR; 百度 与 英 伟 达 联合 开发 无 人 车 平台 。 

6. 长 安 汽 

长 安 汽车 现在 有 高 速 环境 版 和 城区 低速 版 两 类 无 人 驾驶 原型 车 , 使 用 的 是 “ 传 感 融合 
+ 高 精 地 图 ”的 技术 路 线 。 原型 车 上 采用 了 激光 雷达 、 毫米 波 雷 达 、 单 目 摄像 头等 传感器 。 
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长 安 汽车 已 实现 了 从 重庆 到 北京 的 2000 公里 实际 道路 无 人 驾驶 。 长 安 计 划 2020 年 量 产 
L3 车 型 。 


7. 特 斯 拉 


特 斯 拉 首 席 执行 官 埃 隆 - 马 斯 克 (Elon Musk) 于 2016 年 10 月 未 宣布 ， 目 前 生产 的 车 型 
包括 Model S, Model X 和 未 来 的 Model 3， 在 生产 时 采用 了 新 硬件 ， 支 持 全 自动 无 人 驾 
驶 技术 , 一 旦 美国 联邦 政府 开绿灯 后 ,这 些 汽 车 就 可 以 升级 无 人 轰 驶 功能 了 。 此 前 , 特 斯 
拉 一 直 承 诺 到 2018 年 推出 具有 全 自动 无 人 驾驶 功能 的 汽车 。 值 得 注意 的 是 , 2016 年 5 月 
特 斯 拉 S 型 轿车 在 佛罗里达 州 发 生 致 命 车 祸 , 这 是 首 起 自动 驾驶 汽车 致命 车 祸 。 事 发 时 ， 

自动 制 动 系 统 软 件 错 把 货车 的 白色 车 身 当 成 晴朗 的 天 空 , 在 卡车 左 转弯 时 未 能 识别 。 司机 
没有 控制 半自动 装置 ， 结 果 轿 车 高 速 撞 上 了 卡车 ， 冲 向 路 灯 杆 ， 司 机 当场 死亡 。®% 





8. 沃尔沃 

除 与 Uber 在 匹兹堡 合作 外 ,沃尔沃 还 计划 在 中 国 提供 “先进 的 自动 驾驶 体验 ”"，100 
名 志愿 者 将 在 公路 上 测试 沃尔沃 XC90, 这 是 其 DriveMe 项 目的 一 部 分 ,该 项 目 计 划 于 2017 
年 在 瑞典 哥德堡 和 英国 伦敦 完成 对 100 辆 自动 驾驶 汽车 进行 的 测试 。 


9. ER 


2016 年 7 A, 尼桑 在 日 本 发 布 了 ProPILOT 一 一 使 汽车 能 在 公路 上 自动 行驶 的 自动 驾 
驶 功能 。 这 一 系统 最 终 将 登陆 欧洲 、 中 国 和 美国 。 尼 桑 将 继续 为 ProPILOT 增添 自动 驾驶 
功能 ， 直 至 2020 年 推出 一 款 全 自动 无 人 车 。 


10. 福特 

福特 计划 2021 年 将 无 人 车 用 于 汽车 共享 或 打车 服务 。 与 谷歌 的 无 人 车 相似 ， 福 特 无 
人 车 也 没有 方向 盘 、 科 车 或 油门 。 福 特 计划 2017 年 在 欧洲 测试 其 无 人 车 ， 把 测试 汽车 数 
量 由 目前 的 30 辆 增加 到 100 辆 。 福 特 2016 年 联合 百度 对 激光 雷达 厂商 Velodyne 投资 了 
1.5 亿美 元 。 

11. 通用 汽车 


通用 汽车 2016 年 宣布 对 Lyft 投资 5 亿美 元 , 联合 开发 采用 无 人 车 的 打车 服务 。 通 用 
汽车 2016 年 3 月 还 以 10 亿美 元 收购 了 自动 驾驶 汽车 创业 公司 Cruise Automation, 增强 在 
自动 驾驶 汽车 开发 方面 的 实力 。 
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12, 丰田 汽车 


丰田 宣布 正在 密 软 根 大 学 建立 “自动 驾驶 汽车 研究 基地 ”， 帮 助 丰田 建设 原始 模型 实 
验 室 ， 在 模拟 路 况 中 进行 低速 车 辆 测试 。 


13.3.2 Wake 


目前 ， 无 人 驾驶 发 展 的 格局 呈现 两 种 趋势 ， 如 图 13-2 所 示 ， 传 统 汽 车 公司 更 倾向 于 
渐进 式 自动 化 ， 而 以 特 斯 拉 、Google、Baidu 等 为 代表 的 科技 公司 是 以 人 工 智能 进入 完全 
自动 无 人 轰 驶 ,具有 颠 履 式 的 色彩 。 他 们 短期 内 发 展 的 目标 也 各 有 侧重 , 传统 车 企 以 渐进 
自动 驾驶 的 方式 逐步 提升 驾驶 体验 ,而 科技 类 公司 直接 跨越 到 以 无 人 驾驶 完全 替代 传统 驾 
驶 。 前 者 依靠 的 是 长 期 积累 的 整 车 经 验 和 在 自动 控制 领域 的 核心 优势 , 后 者 则 是 借 由 人 工 
智能 的 大 力 发 展 整合 传感器 、 感知 算 法 、 计 算 平台 等 技术 以 实现 跨越 式 的 发 展 。 他 们 在 营 
利 模式 上 也 有 所 区 别 , 传统 汽车 公司 依然 着 重 整 车 销售 和 售后 市 场 的 服务 , 而 科技 公司 更 
注重 内 容 资源 、 平 台 服务 和 共享 经 济 带 来 的 新 商业 模式 。 





传统 车 厂 互联 网 科技 公司 
以 ADAS 进 入 逐步 自动 化 MISKEN SEIAS | 






d 
ERU > cH 
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图 13-2 ”各 类 企业 在 无 人 驾驶 行业 的 布局 


来 自 中 信 证 券 的 报告 显示 ， 预 计 至 2025 年 ， 科 技 型 公司 将 在 智能 汽车 领域 分 得 40% 
的 市 场 ， 而 传统 车 企 将 坚持 60% 的 市 场 。 科 技 型 公司 直接 跨越 到 高 自动 化 无 人 驾驶 ， 作 
为 行业 新 进入 者 并 无 历史 “包容 ”, 可 以 实现 跨越 式 发 展 。 此 外 , 科技 型 公司 在 数据 融合 、 
高 精 地 图 等 方面 具有 技术 优势 ,这 些 既 有 的 优势 将 助力 高 速 发 展 。 通 过 实现 布局 无 人 芍 驶 ， 
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科技 型 公司 可 以 将 汽车 变 成 下 一 个 “互联 网 入 口 "。 也 有 预测 认为 ， 中 短期 科技 型 企业 依 
然 无 法 撼动 传统 车 企 占 据 的 过 半 市 场 份额 。 传统 车 企 从 辅助 驾驶 开始 逐步 提升 , 既 有 品牌 
与 用 户 优势 , 且 造 车 门槛 较 高 , 因此 传统 整 车 厂 仍 保有 全 产业 链 优势 , 产品 安全 可 靠 性 更 
Pu. 且 消 费 者 对 传统 品牌 认可 度 较 高 , 汽车 产业 不 会 被 科技 型 公司 完全 共 禾 。 当 然 , 科技 
企业 与 传统 车 企 的 合作 越 来 越 多 , 他 们 之 间 的 联姻 , 包括 合作 与 投资 , 也 许 会 是 激烈 竞争 
的 另外 一 个 结果 。 


13.4 全球 化 下 的 无 人 驾驶 


本 节 将 探讨 在 全 球 化 的 背景 下 无 人 驾驶 在 各 个 国家 和 地 区 带 来 的 预算 政策 和 监管 等 
具体 问题 和 相应 对 策 。 


13.4.1 无 人 驾驶 在 中 国 


世界 经 济 论坛 的 一 项 调查 发 现 ,“75% 的 中 国人 愿意 乘坐 无 人 车 。” OT 这 种 观点 也 得 
到 了 罗兰 贝 格 公司 单独 调查 的 印证 。 后 一 项 调查 显示 ,“96% 的 中 国人 愿意 考虑 每 天 都 乘 
坐 无 人 车 ， 远 高 于 美国 和 德国 的 58%。 乌 相 比 其 他 国家 和 地 区 ， 中 国 对 无 人 芍 驶 的 接受 
程度 非常 高 , 因此 大 规模 商业 化 之 后 , 无 人 轰 驶 的 推广 也 将 更 加 迅速 。 另 一 方面 , 在 中 国 
大 部 分 无 人 车 的 监管 规范 的 制定 都 在 国家 一 级 ,其 自 上 而 下 的 做 法 也 能 简化 监管 规则 和 程 
序 。 这 也 是 无 人 驾驶 将 在 中 国 得 到 领先 发 展 的 一 大 优势 。 


因此 , 无 人 驾驶 在 中 国 的 关键 是 要 制定 国家 层面 的 无 人 车 政策 框架 。 中 国有 多 个 部 委 
负责 无 人 驾驶 技术 的 监管 ( 其 中 存在 责任 交 义 和 重复 ， 以 及 碎片 化 的 问题 )。 国 家 质量 监 
督 检验 检疫 总 局 ( 负责 产品 召回 )、 工 业 和 信息 化 部 ( 负责 制定 产业 政策 )、 交 通 部 ( 制定 
交通 行业 发 展 规划 )、 公 安 部 ( 负责 车 辆 登记 、 牌 照管 理 和 交通 安全 监督 )、 国 家 测绘 地 理 
信息 局 (负责 执行 地 图 信息 采集 规定 ) 都 有 管辖 权 。 还 有 其 他 部 门 负责 环境 保护 、 回 收 利 
用 、 商 务 和 金融 。 因 此 需要 进一步 明确 监管 部 门 和 监管 方式 。 
目前 , 中国 已 经 启动 了 LTE-V 无 线 技术 和 频率 划分 研究 试验 工作 ， 华 为 主推 的 Polar 
码 也 被 选 为 5G eMBB ( 增强 移动 宽带 ) 场景 的 控制 信道 编码 方案 ， 这 表明 ， 中 国 已 经 开 
始 全 面 布 局 基于 5G 的 自主 车 车 通信 技术 ， 以 此 推动 无 人 驾驶 的 发 展 。 
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13.4.2 无 人 驾驶 在 欧洲 


欧洲 国家 发 展 无 人 驾驶 乏力 的 原因 之 一 是 没有 很 多 实力 雄厚 的 本 土 技 术 公司 .欧洲 在 
无 人 驾驶 相关 的 人 工 智能 、 网 络 、 绘 图 、 芯 片 、 感 应 器 、 设 备 和 服务 方面 需要 依靠 外 部 企 
业 。 美 国 的 谷歌 和 中 国 的 百度 等 大 型 技术 企业 之 所 以 能 快速 进军 交通 领域 , 其 中 一 个 原因 
是 ,它们 有 机 会 将 搜索 引擎 技术 开发 获取 的 信息 处 理 专长 和 快速 学 习 能 力 应 用 到 无 人 驾驶 
领域 。 若 想 获 得 无 人 车 领域 的 竞争 能 力 ， 奥迪、 宝马 ( 与 英特尔 合作 )、 大 众 、 戴 姆 勒 、 
奔驰 和 沃尔沃 等 欧洲 车 企 应 该 培养 人 工 智能 、 深度 学 习 、 大 数据 分 析 、 高 精度 测绘 等 领域 
的 人 才 ， 这 些 技术 对 未 来 汽车 发 展 至 关 重 要 。 


为 一 反面 ,欧盟 还 应 确保 其 数据 保护 规定 不 会 对 车 辆 和 行人 的 移动 和 位 置信 息 带 来 过 
分 限制 , 从 而 抑制 无 人 驾驶 所 需 的 高 精度 地 图 的 绘制 。 欧盟 一 贯 在 数据 收集 和 分 析 领 域 采 
取 限 制 性 立场 。 例 如 , 欧盟 法 规 限制 谷歌 等 企业 收集 路 况 数据 和 绘制 街景 地 图 。 就 此 , WR 
盟 已 经 多 次 因此 处 罚 谷歌 ,索要 谷歌 的 数据 ， 并 对 收集 的 资料 进行 限制 。 王 最 近 通 过 的 
《欧盟 数据 保护 总 则 》 严 格 限制 人 工 智能 和 机 器 学 习 的 使 用 。 这 些 规 定 导致 很 难 将 人 工 智 
能 和 高 精度 测绘 纳入 无 人 驾驶 汽车 之 中 ,没有 包含 地 理 编码 数据 和 利用 此 类 信息 的 深度 学 
习 ， 无 人 驾驶 技术 很 有 可 能 将 在 欧洲 停滞 。 


13.43 无 人 车 在 日 韩 


相 比 中 美 , 日 韩 政府 和 车 企 一 直 对 无 人 车 持 谨慎 态度 。 日 韩 车 企 投 入 了 大 量 资源 , 它 
们 关注 其 他 国家 的 情况 , 也 在 实施 试点 项 目 。 但 是 它们 对 是 否 将 无 人 车 列 为 发 展 重点 一 直 
持 谨慎 态度 。2016 年 4 月 ,丰田 公司 宣布 正在 密歇根 大 学 建立 “自动 驾驶 汽车 研究 基地 ”， 
其 目标 是 建设 原始 模型 实验 室 , 在 模拟 路 况 中 进行 低速 车 辆 测试 , 帮助 公司 在 人 工 智能 和 
高 清 数据 绘图 领域 迎头 赶 上 。 虽然 做 了 这 笔 投 资 ， 公 司 领导 却 宣布 “丰田 相信 丰田 汽 
车 绝 不 会 发 展 到 司机 无 须 手 握 方 向 盘 的 无 人 驾驶 状态 "。"™" 


日 本 政府 2015 年 发 布 指南 ， 确 定 2020 年 在 车 内 安装 半自动 装置 ，2025 年 启动 全 自 
动 无 人 车 。100 韩国 车 企 起 亚 和 现代 已 确定 于 2030 年 完成 全 自动 无 人 车 运行 的 目标 。 但 
是 它们 的 计划 远 远 慢 于 美国 和 中 国 , 在 这 两 国 , 半自动 芍 驶 汽车 已 经 上 路 运行 , 全 自动 无 
人 车 也 将 于 2020 年 投入 使 用 。 


13.44 无 人 驾驶 在 美国 
无 人 驾驶 在 美国 的 主要 挑战 在 于 解决 监管 碎片 化 的 问题 , 因为 五 十 个 州 在 许可 、 车 辆 
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标准 、 监 管 和 隐私 保护 等 领域 的 政策 不 同 。 目 前 ,车 企 ( 如 福特 和 通用 ) 和 软件 开发 商 在 
多 个 州都 面临 规则 和 监管 相 冲 突 的 问题 。 这 会 影响 创新 , 因为 企业 在 制造 无 人 车 时 , SED 
足 全 国 或 国际 市 场 的 需要 。 


13.5 无 人 驾驶 发 展 对 策 


13.5.1 制定 国家 政策 


政府 可 以 通过 监管 的 方式 加 速 或 放 缓 向 无 人 鸭 驶 的 过 渡 。 最 重要 的 监管 任务 应 该 是 
“支持 道路 测试 和 澄清 控制 和 适当 控制 的 含义 。” 目前 , 关于 “ 谁 或 什么 在 控制 ”及 什么 是 
适当 控制 还 存在 不 确定 性 。5 报告 的 作者 呼吁 制定 道路 试验 、 司 机 规则 、 控 制 期 望 和 法 
律 责任 的 国家 指南 。 


以 ADAS 技术 为 例 ， 如 表 13-1 所 示 ， 目 前 世界 各 国政 府 已 经 逐渐 加 强 法 规 ， 都 将 
ADAS 主动 安全 技术 纳入 安全 评分 体系 ,要 求 在 新 车 型 中 配备 能 够 有 效 加 强 汽车 安全 性 的 
ADAS 系统 ,如 LDW “ities, FCW HARA, AEB 紧急 制 动 系统 等 。 中 
国 国家 汽车 工业 协会 在 2016 年 发 布 的 十 三 五 规划 中 , 提出 了 具有 辅助 自动 驾驶 功能 5096 
新 车 渗透 率 ， 具 有 部 分 自动 驾驶 功能 达到 10% 新 车 渗透 率 的 目标 。2016 年 12 月 14 日 ， 
美国 交通 部 发 布 了 V2V 的 新 法 规 , 进入 了 90 天 公示 期 , 法 规 强制 要 求 新 生产 的 轻型 汽车 
安装 VIV 通信 装置 ， 这 是 一 个 里 程 碑 式 的 进步 。 这 无 疑 会 推动 自动 驾驶 技术 在 产业 化 方 
面 的 快速 进展 。 


表 13-1 各 国 关 于 ADAS 的 立法 

地 区 主要 内 容 

NHTSA | 2011 年 | 在 车 辆 评分 系统 中 加 入 FCW ( 前 方 碰撞 预 答 ) , 要 求 车 辆 配套 LDW ( 车 
道 偏离 警示 ) 和 FCW 
美国 2015 年 | 2018 年 起 ,五 星 安全 必须 配备 AEB ( 自动 紧急 刹车 ) 

2016 年 | 占 美国 汽车 99% 以 上 的 汽车 生产 商 同意 自 2022 年 起 在 轻型 乘 用 车 和 卡 

IIHS ”| 2015 年 | 对 于 安装 FCW 等 碰撞 规避 系统 的 车 辆 提高 其 安全 等 级 
欧洲 | NCAP 大 型 上 用 车 必须 配备 AEB 

Vihicle-AEB ( 对 车 一 自动 紧急 刹车 ) 成 为 新 车 评估 测试 的 必要 条 件 

五 星 商 用 车 车 少 配备 一 项 主动 安全 技术 
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续 表 
地 区 主要 内 容 
i Pedestrain AEB ( 对 人 一 自动 紧急 刹车 ) 成 为 新 车 评估 测试 的 必要 条 件 
2017 an 分 评级 车 辆 必须 配备 主动 安全 

| MLTI AEB 纳入 评分 系统 
Hes 2016 年 | 强制 车 辆 安装 AEB 
澳 大 2012 年 | 只 有 安装 了 AEB 和 LDW 的 车 辆 才能 达到 五 分 评级 
利 亚 

汽车 工 | 2016 年 | 具有 辅助 当 驶 功能 50% 新 车 渗透 率 ， 具 丰 部 分 自动 芍 驶 功能 109631 4:72 


业 协 会 透 率 
预计 在 安全 评分 系统 中 加 入 AEB, LDW, FCW, PDS 等 
2018 年 


13.5.2 ”改善 高 速 公路 基础 设施 


基础 设施 不 完善 是 无 人 驾驶 发 展 的 重大 技术 障碍 ,因此 改善 高 速 公路 应 该 是 发 展 自动 
和 侣 驶 汽车 的 重点 , 盛 人 车 载 摄像 头 如 果 无 法 识别 车 道 标 示 ,3D 高 精度 地 图 a ade 
RIS, 如果 缺少 安装 智能 路 灯 , 在 视线 受到 限制 的 情况 之 下 , 摄像 头 将 很 难 工 作 。 另 一 方 
面 , 现在 的 交通 信号 灯 效 率 低 ， 没 有 考虑 到 和 车流 信息 。 如 果 交 通 灯 是 动态 的 ， 可 根 所 车 流 
KERN 总 ， 将 可 以 缓解 道路 交叉 口 的 拥堵 ， 更 好 地 与 无 人 芍 驶 相配 合 。 因 此 , 政府 需 投 
资 建设 针对 无 人 车 的 高 速 公路 基础 设施 。 


13.5.3 ”允许 道路 测试 和 精准 道路 绘图 


现 有 各 国 的 法 规 都 要 求 车 辆 行驶 时 司机 必须 在 车 内 , 而 且 双 手 置 于 方向 盘 上 , 这 明显 
给 全 自动 无 人 车 的 推广 带 来 了 限制 。 以 日 本 为 例 ， 现 在 要 求 国内 所 有 汽车 都 由 真人 各 驶 。 

车 企 需要 特殊 许可 才能 进行 道路 测试 。 国家 警察 厅 的 规定 要 求 “ 所 有 公共 道路 上 的 测试 都 
要 有 司机 坐 在 方向 盘 后 面 ,” 这 也 就 限制 了 全 自动 无 人 车 的 测试 和 发 展 中 。 因 此 ， 政 府 应 
该 取消 全 国 范围 内 对 于 道路 测试 的 禁止 , 开放 道路 进行 车 辆 测试 。 道路 测试 是 自动 驾驶 汽 
车 自 验证 的 最 佳 方式 。 从 长 期 看 , 这 是 保证 无 人 蜀 驶 行车 安全 的 最 佳 方式 。 成 功 的 试验 项 
目 也 让 公众 更 相信 自动 驾驶 汽车 的 安全 性 和 可 靠 性 。 

同时 ,也 需 减少 公路 地 图 发 展 方面 的 限制 。 精 确 的 地 图 关乎 全 自动 无 人 车 的 未 来 发 展 。 
现 有 技术 可 以 将 线路 图 的 误差 降低 到 几 厘米 。 出 于 安全 考虑 , 中 国政 府 规定 公共 地 图 的 精 
确 度 不 能 超过 502K (165 英尺 )。 因 此 ， 很 难为 无 人 自动 驾驶 汽车 绘制 精确 的 3D 高 精度 
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地 图 。 如 果 达 不 到 这 一 精确 度 , 车 辆 无 法 安全 行驶 。 企 业 需要 获得 国家 测绘 和 地 理 信息 局 
的 特殊 许可 才能 收集 路 况 和 桥梁 高 度 、 宽度 等 数据 。 企业 还 禁止 收集 军事 管理 区 周围 的 任 
何 道路 信息 。 这 给 行业 创新 带 来 不 必要 的 负担 ,也 给 行业 收集 所 需 信 息 带 来 难题 .在 欧洲 ， 
欧盟 法 规 限 制 谷歌 等 企业 收集 路 况 数据 和 绘制 街景 地 图 。 以 德国 为 例 , 谷歌 在 采集 公共 道 
路 街景 数据 之 前 ,必须 告知 公众 。 除 此 之 外 , 德国 还 限制 公司 保留 私人 住宅 周围 街道 和 高 
速 公 路 图 像 数据 的 时 间 。 人 们 也 可 以 选择 排除 在 数据 采集 之 外 , 已 经 有 1/3 的 德国 人 这 样 
做 了 。5 这 些 规定 都 限制 了 公路 地 图 绘制 的 准确 性 和 更 新 地 图 的 能 力 。 


13.5.4 制定 技术 标准 


制定 技术 标准 对 自动 驾驶 汽车 至 关 重 要 。 技 术 标 准 现在 更 多 地 变 成 一 个 国家 贸易 保护 
fI ER 46 ,成 为 产业 竞争 的 制高点 。 就 无 人 轰 驶 而 言 ,技术 标准 可 以 帮助 高 精度 地 图 的 测绘 ， 
规定 高 精 地 图 在 测量 、 分 析 和 精确 度 等 方面 的 要 求 。 这 样 可 以 在 政府 规定 模糊 的 领域 进行 
澄清 。 车 辆 无 线 技术 也 是 一 个 需要 确定 技术 标准 的 领域 。 例 如 ， 中 国 在 2016 年 下 半年 发 
布 了 《推进 “互联 网 +” 便 捷 交 通 促进 智能 交通 发 展 的 实施 方案 》 明确 提出 “结合 技术 
攻关 和 试验 应 用 情况 ， 推 进 制定 人 车 路 协同 ( V2X ) 国家 通信 标准 和 设施 设备 接口 规范 ， 
并 开展 专用 无 线 频段 分 配 工作 ”的 标准 制定 工作 。 从 目前 的 情况 来 看 ，LTE-V 极 有 可 能 
确定 为 中 国 在 无 人 车 通信 方面 的 标准 ， 而 不 会 使 用 欧美 的 DSRC 标准 。 


13.6 ”可 预见 的 未 来 


13.6.1 无 人 驾驶 的 黎明 : 现在 一 2020 年 

现今 已 有 无 数 人 投身 于 无 人 车 领域 ,长 期 积累 的 科研 结果 及 工程 进步 都 致力 于 将 无 人 
驾驶 在 2020 年 成 为 现实 。 人 工 智能 是 无 人 驾驶 的 核心 ， 但 是 无 人 车 是 一 个 相当 复杂 的 工 
程 系统 ， 需 要 众多 技术 的 融合 与 精确 配合 ， 其 中 包括 以 下 几 方面 。 

(1 ) 算法 : 算法 部 分 包括 传 感 ， 用 来 从 采集 到 的 传感器 原始 数据 中 提取 有 意义 的 信 
Als 定位 ， 用 来 精确 地 控制 无 人 车 的 行驶 方向 ; 感知 ， 用 来 理解 车 辆 的 周边 环境 ， 并 为 
车 辆 的 出 行 与 到 达 提供 安全 可 靠 的 规划 。 

(2) 客户 端 系统 : 这 部 分 由 操作 系统 和 硬件 系统 组 成 ， 将 配合 算法 部 分 以 满足 实时 、 
可 靠 、 安全、 绿色 能 耗 的 要 求 。 
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(3) 云 平台 : 这 部 分 提供 离线 的 计算 和 存储 功能 以 支持 测试 不 断 更 新 的 算法 、 产 生 高 
精度 的 地 图 及 大 规模 的 深度 学 习 模 型 训练 。 


13.6.2 ”混合 模式 的 时 代 : 2020 一 2040 年 


我 们 即将 进入 混合 模式 的 时 代 : 2020—2040 年 。 在 这 20 ER, 传统 的 人 为 操控 汽车 
及 无 人 车 将 共存 。 考 虑 到 每 一 辆 机 动车 的 使 用 寿命 是 10~15 E, 我们 可 以 预见 这 一 人 为 
驾驶 /无 人 芍 驶 的 情况 将 持续 至 少 20 年 。 早 期 的 无 人 车 被 设计 为 能 够 理解 并 能 处 理 传统 的 
面向 人 为 驾驶 的 交通 系统 。 随 着 无 人 驾驶 的 普及 , 交通 系统 将 逐渐 演化 为 对 无 人 车 更 友好 
的 模式 , 交通 灯 、Lanes 及 Stop Sign 将 进一步 装备 在 路 感应 器 , 以 更 好 地 辅助 无 人 驾驶 。 
此 外 ， 无 人 车 之 间 的 通信 将 急剧 增加 ， 因 此 能 够 更 好 地 完成 行驶 过 程 中 车 辆 的 动态 协调 。 
在 这 一 背景 下 ， 持 续 产 生 的 大 量 数据 将 推进 AI 算法 的 持续 修正 与 进步 。 


13.6.3 ”无 人 驾驶 时 代 : 始 于 2040 年 


到 2040 年 ， 预 计 所 有 的 汽车 将 完全 转变 为 无 人 驾驶 模式 ,今后 人 为 驾驶 会 成 为 一 件 
罕有 的 事情 , 甚至 于 由 于 缺乏 足够 的 安全 性 被 判定 为 非法 行为 。 届时 , 我 们 将 迎 来 全 新 的 
交通 生态 系统 , 在 这 个 生态 下 , 所 有 的 车 辆 都 是 集中 控制 模式 。 基 于 无 人 驾驶 的 自动 交通 
运输 将 像 供 电 、 供 水 一 样 , 成 为 日 常生 活 中 的 基础 设施 。 得 益 于 改进 的 导航 系统 及 传感器 
对 路 面 和 车 辆 老化 状况 的 检测 ,传统 汽车 行驶 中 的 交通 事故 由 现在 的 每 年 超过 百 万 起 降低 
至 几乎 零 事故。 当然 , 正 是 因为 无 人 鸭 驶 驱动 的 公共 交通 对 资源 的 有 效 共享 与 分 配 ， 整个 
城市 的 交通 系统 只 需要 较 少 量 的 汽车 便 可 以 正常 运行 。 一 方面 能 源 的 使 用 效率 将 被 极 大 程 
度 地 提高 ， 另 一 方面 将 大 规模 地 替代 使 用 新 能 源 , 因此 , 传统 化 石 燃料 造成 的 空气 污染 将 
被 大 规模 地 降低 。 我 们 人 迫切 地 期 待 着 无 人 驾驶 的 到 来 。 


13.7 参考 资料 


[1 


— 


GOOGLE, UBER, AND THE EVOLUTION OF TRANSPORTATION-AS-A- 
SERVICE, www.stratechery.com. 


[2 


— 


2016 年 4 H 23 H phys.org 上 的 文章 “Chinese Firms Accelerate in Race Toward 
Driverless Future”, 作 者 Julien Girault. 


[3] Daniel Fagnant fil Kara Kockelman 在 2014 年 1 月 交通 研究 理事 会 第 93 次 年 会 


h 208 
sjs.cn 000000 


13 无 人 驾驶 的 未 来 1 


提交 的 文章 “The Travel and Environmental Implications of Shared Autonomous 
Vehicles Using Agent-Based Model Scenarios" , 第 1-13 Di. 


[4] 2016 年 7 H 25 采访 兰 德 公司 Karlyn Stanley. 


[5] 2016 年 5 月 30 日 《纽约 时 报 》 文 章 “Beijing”s Electric Bikes, the Wheels of 
E-Commerce, Face Traffic Backlash”"， 作 者 Chris Buckley. 


[6] 2016 年 5 H 17 日 《纽约 时 报 》 文 草 “Want to Buy a Self-Driving Car? Trucks May 
Come First”, {£7 John Markoff. 


[7] 2016 Œ 5 H 17 日 《华尔街 日 报 ) 文 章 “Autonomous-Driving Venture Targets Heavy 
Trucks”, {£77 Mike Ramsey. 


[8] 美国 统计 局 2014 年 5 月 报告 An Aging Nation: The Older Population in the United 
States”, fF? Jennifer Ortman, Victoria Velkoff #1] Howard Hogan。 美 国 交 通 部 报 
告 “Beyond Traffic, 2045: Trends and Choices”, # 11 Ji. 


[9] 布 鲁 金 斯 学 会 学 会 技术 创新 中 心 2014 年 报告 “mHealth in China and the United 
States”"， 作 者 Yu Xiaohui, Han Han, Du Jiadong, Wei Liurong, Li Cheng, Zhang 
Xueli, Li Haihua, Huang Ying, Sun Ke, Li Na, Darrell West 和 Joshua Bleiberg, 55 
9 页 . 

[10] 彭 博 技 术 2015 年 10 月 28 日 文章 “Japan”s Carmakers Proceed With Caution on 
Self-Driving Cars”, {F# Jie Ma. 

[11] 2015 年 疾 控 中 心 报告 “53 Million Adults in the US Live with a Disability" . 

[12] 2016 年 7 月 5 日 采访 Lyft 公司 Rob Grant. 


[13] TR News 2014 年 5-6 月 文章 “Who Is In Charge? The Promises and Pitfalls of 
Driverless Cars"， 第 28 页 ， 作 者 Mary Cummings 和 Jason Ryan. 


[14] 2015 年 4 月 第 16 2$ IEEE Transactions on Intelligent Transportation Systems， 第 
554 页 ， 作 者 Jonathan Petit 和 Steven Shladover. 


[15] 波士顿 咨询 公司 2014 年 11 月 报告 “Make in India: Turning Vision Into Reality” , 
第 20 页 ， 作 者 Arindam Bhattacharya, Arun Bruce, Anirban Mukherjee. 


srjs.cn 000000 209 4 


第 一 本 无 人 驾驶 技术 书 


[16] Delphi 公司 的 Glen De Vos 2016 年 3 月 15 在 参议 院 商 业 、 科 学 和 技术 委员 会 听 
证 会 上 的 证 词 ， 第 6 页 . 
[17] 2016 年 1 H 24 Asteria] “Baidu Enters the Global Race for Driverless Car 


Domination" . 


[18] 2016 4E 8 H 18 日 《 彭 博 新 闻 周 刊 》 文 章 “Uber’s First Self-Driving Fleet Arrives 
in Pittsburgh This Month”, {27 Max Chafkin. 


[19] Sandy Lobenstein2015 年 11 月 18 日 在 众议院 监督 和 政府 改革 委员 会 的 证 词 ， 第 
5 页 . 
[20] 兰 德 公司 2016 年 报告 “Autonomous Vehicle Technology: A Guide for 


Policymakers”"， 作 者 James Anderson, Nidhi Kalra, Karlyn Stanley, Paul Sorensen, 
Constantine Samaras 和 Oluwatobi Oluwatola, 第 116 页 . 


[21] Delphi 公司 的 Glen De Vos 2016 年 3 月 15 在 参议 院 商 业 、 科 学 和 技术 委员 会 听 
证 会 上 的 证 词 ， 第 6 页 . 

[22] 2016 年 4 月 3 日 《纽约 时 报 》 文 章 “China’s Companies Poised to Take Leap in 
Developing a Driverless Car”"， 作 者 John Markoff 和 Paul Mozur。 


[23] 密 软 根 大 学 世界 可 持续 交通 研究 所 报告 “Motorists” Preferences for Different 
Levels of Vehicle Automaton: 2016", f'EX£ Brandon Schoettle 和 Michael Sivak. 


[24] 2016 年 6 H 21 日 采访 谷歌 George Ivanov. 


[25] 2015 Æ 7 H 17 H CBS žr] “Google Driverless Car Involved in First Injury-Causing 


Accident" . 


[26] 《纽约 时 报 》2016 4E 7 H 12 日 文章 “As USS. Investigates Fatal Crash, Company 
Defends Autopilot System" , 作者 Bill Vlasic and Neal Boudette, 2016 年 7 月 29 
日 文章 “Tesla Faults Brakes, but Not Autopilot, in Fatal Crash" , 作者 Neal Boudette. 


[27] 密歇根 大 学 世界 可 持续 交通 研究 所 报告 “Motorists” Preferences for Different 
Levels of Vehicle Automaton: 2016”， 作 者 Brandon Schoettle 和 Michael Sivak, 


[28] 路 透 社 2016 年 4 月 23 日 文章 “China”s Roadmap to Self-Driving Cars”。《 中 国 
日 报 》 2016 年 6 月 22 日 文章 “Officials Want to Open Way for Autonomous 


hb. 210 
srjs.cn 000000 





13 ZAB ee 


Driving” 
[29] 《纽约 时 报 》2013 年 4 月 23 ASH "Germany's Complicated Relationship with 
Google Street View”， 作 者 Claire Miller 和 Kevin O’Brien. 








[30] 《底特律 新 闻 》2016 年 4 月 7 日 文章 “Toyotato Launch Ann Arbor Autonomous 
Car Research Base"， 作 者 Michael Martinez. 


pi] 《底特律 新 闻 总 016 年 4 月 7 日 文章 “Toyota to Launch Ann Arbor Autonomous Car 
Research Base”， 作 者 Michael Martinez. 


[32] 澳大利亚 国家 交通 委员 会 2016 年 5 月 报告 “Regulatory Options for Automated 
Vehicles"， 第 8-9 页 . 


[33] 《汽车 与 自行 车 淋 志 2016 年 5 月 28 日 文章 “Japan Won't Allow Testing of Fully 


Autonomous Cars On Public Roads”"， 作 者 Sameer Contraetor. 


[34] 《纽约 时 报 》2013 ££ 4 H 23 日 文章 “Germany's Complicated Relationship with 
Google Street View", {F7% Claire Miller 和 Kevin O'Brien. 


读者 服务 


轻松 注册 成 为 博文 视点 社区 用 户 〈www.broadview.com.cn)， 您 即 可 享受 以 下 服务 : 


e ”提交 勘误 : 您 对 书 中 内 容 的 修改 意见 可 在 【提交 勘误 】 处 提交 ， 若 被 采纳 ， 
将 获 赠 博文 视点 社区 积分 (在 您 购买 电子 书 时 ， 积 分 可 用 来 抵 扣 相应 金额 )。 

e 与 作者 交流 : 在 页 面 下 方 【读者 评论 】 处 留 下 您 的 疑问 或 观点 ， 与 其 他 读者 
一 同学 习 交 流 。 


页 面 入 口 : http:/Avww.broadview.com.cn/31355 





; 211 4 
xjs.cn 000000 


Broadview ”博文 视点 .人 T 出 版 旗舰 品牌 E E 
www.broadview.com. cn 技术 凝聚 实力 c 专业 创新 出 版 


作者 介绍 








刘 少 山 ，Perceptln 联 合 创始 人 。 加 州 大 学 欧文 分 校 计算 机 博士 。 

现在 Perceptl n 主 要 专注 于 机 器 人 的 核心 SLAM 与 深度 学 习 技 术 ， 

以 及 其 在 智能 硬件 上 的 实现 。 在 创立 Perceptln 之 前 ， 在 百度 美 匡 

研发 中 心 主要 专注 于 百度 无 人 车 系统 架构 与 产品 化 、 深 度 学 习 ， 以 
异 构 计算 平台 的 架构 与 开发 。 


SS 














VERNA Oe 
ei a ek 3 驶 和 机 器 人 的 大 数据 计算 与 存储 平台 、 面 向 人 
智能 的 计算 体系 架构 、 面 向 机 器 视觉 的 嵌入 式 系 统 研究 








吴 双 ， 依 图 科技 研究 科学 家 ， 依 图 硅谷 研发 中 心 负责 人 。 原 百度 
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/ 李 力 耘 ， 百 度 美国 研发 中 心 无 人 驾驶 高 级 架构 师 。 本 科 毕 业 于 清 | ， 

华 大 学 电子 工程 系 ， 后 获得 美国 纽约 大 学 计算 机 专业 博士 学 位 。 加 
入 百度 后 从 事 移动 推荐 、 转 换 广告 、 图 片 变形 、 无 人 车 决策 项 划 等 
多 个 项 目 。 目 前 在 百度 无 人 车 部 门 负责 无 人 车 行为 预测 方向 的 系统 
架构 及 算法 优化 。 拥 有 多 项 国际 专利 ， 并 已 递交 30 余 项 无 人 车 决策 
预测 相关 专利 申请 。 
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